新技术在 Visual Question Answering中的应用
摘要
Visual Question Answer (VQA) 是对视觉图像的自然语言问答，作为视觉理解 (Visual Understanding) 的一个研究方向，连接着视觉和语言。问题的格式是给定一张图片，并提出关于这张图片的问题，获得该问题的回答。
使用了BOW词袋模型和Word To Vector单词矩阵化的技术来分别处理label和输入的单词向量，及LSTM网络和Attention机制，VIS+LSTM网络结构，搭建了VQA问题的新模型。在我们的模型中，拥有3个LSTM网络分别处理：文本，图像，文本和图像。在可视化输出结果中，正确回答在Top5回答中的可能性很高。
关键词: BOW     Word To Vector LSTM Attention VIS+LSTM VQA
目录
1 问题说明 1
1.1 问题背景 1
2 问题分析 1
3 猜想 1
4 模型的建立 1
4.1 模型概述 3
4.1.1 数据集的使用 3
4.2 VGG19模型 3
4.2.1 VGG19 效果分析 3
4.2.2 VGG19 参数分析 3
4.3 LSTM 模型 3
4.3.1 LSTM 效果分析 3
4.3.2 LSTM 参数分析 3
4.4 Word To Vector 模型 3
4.4.1 Word To Vector 效果分析 3
4.5 综合模型分析 4
5 模型的效果 4
6 模型的提升 5
引用 6