第八讲_图像问答Image Question Answering

第八讲_图像问答Image Question Answering

• 课程结构
  
• 图像问答的描述
  
• 具备一系列AI能力：细分识别，物体检测，动作识别，常识推理，知识库推理.....
• 先要根据问题，判断什么任务
• 图像问题与图像描述的关系
  
• 研究的难点和挑战
  
• 研究方向
  

数据集

• COCO-QA来源MSCOCO
• VQA（visual question answering）
• 平衡数据集V1.9-->V2.0
• Visual7W---Visual Genome的子集

图像问答模型

• 模型
  
• 基本都是VGG-Net和ResNet,LSTM模型
• LSTM：三个门和记忆状态
  
• 基本模型
  
  

模型增强：注意机制

• 基本模型
  
  

模型增强：外部知识库

• 基本模型
  
• 属性预测模型