跨模态检索中的相关度计算研究
| 摘要 | 第3-5页 |
| Abstract | 第5-7页 |
| 第1章 绪论 | 第16-25页 |
| 1.1 研究背景 | 第16-19页 |
| 1.2 研究问题的提出 | 第19-21页 |
| 1.3 研究内容与贡献 | 第21-23页 |
| 1.4 本文组织结构 | 第23-25页 |
| 第2章 相关研究工作综述 | 第25-38页 |
| 2.1 跨模态数据的表达 | 第25-32页 |
| 2.1.1 文本的表达 | 第25-28页 |
| 2.1.2 图像的表达 | 第28-30页 |
| 2.1.3 视频的表达 | 第30-32页 |
| 2.2 跨模态相关度计算 | 第32-37页 |
| 2.2.1 基于公共空间学习的方法 | 第32-35页 |
| 2.2.2 基于相关性度量的方法 | 第35-37页 |
| 2.3 本章小结 | 第37-38页 |
| 第3章 基于显著信息表达的跨模态相关度计算 | 第38-55页 |
| 3.1 引言 | 第38-40页 |
| 3.2 方法 | 第40-43页 |
| 3.2.1 GRU模型 | 第41页 |
| 3.2.2 SGRU模型 | 第41-42页 |
| 3.2.3 基于SGRU的特征表达 | 第42-43页 |
| 3.3 基于SGRU的跨模态检索模型 | 第43-47页 |
| 3.3.1 视频与句子的表达 | 第43-44页 |
| 3.3.2 基于公共空间学习的模型 | 第44-46页 |
| 3.3.3 基于相关性度量的模型 | 第46-47页 |
| 3.4 实验及分析 | 第47-53页 |
| 3.4.1 实现细节 | 第47-49页 |
| 3.4.2 句子检索视频 | 第49-50页 |
| 3.4.3 视频检索句子 | 第50页 |
| 3.4.4 多选择题测试 | 第50-51页 |
| 3.4.5 消融分析与可视化 | 第51-53页 |
| 3.5 本章小结 | 第53-55页 |
| 第4章 基于深度视觉空间的跨模态相关度计算 | 第55-74页 |
| 4.1 引言 | 第55-57页 |
| 4.2 方法 | 第57-62页 |
| 4.2.1 模型结构 | 第58-60页 |
| 4.2.2 模型的优化 | 第60-61页 |
| 4.2.3 图像的标题检索 | 第61页 |
| 4.2.4 视频的标题检索 | 第61-62页 |
| 4.3 实验及分析 | 第62-73页 |
| 4.3.1 Word2VisualVec的属性 | 第62-67页 |
| 4.3.2 可视化分析 | 第67-69页 |
| 4.3.3 性能比较 | 第69-73页 |
| 4.4 本章小结 | 第73-74页 |
| 第5章 跨模态检索评测与跨模态相关度融合 | 第74-100页 |
| 5.1 引言 | 第74-76页 |
| 5.2 方法 | 第76-84页 |
| 5.2.1 跨模态相关度评估 | 第76-80页 |
| 5.2.2 跨模态相关度融合 | 第80-81页 |
| 5.2.3 基于视觉的点击数据分析 | 第81-84页 |
| 5.3 实验及分析 | 第84-99页 |
| 5.3.1 基于单标签查询的图像检索 | 第86-88页 |
| 5.3.2 基于真实用户查询的图像检索 | 第88-95页 |
| 5.3.3 基于视觉性的分析 | 第95-98页 |
| 5.3.4 与先进方法的比较 | 第98-99页 |
| 5.4 本章小结 | 第99-100页 |
| 第6章 跨模态检索原型系统 | 第100-107页 |
| 6.1 原型系统架构设计 | 第100-102页 |
| 6.1.1 浏览器端设计 | 第100-101页 |
| 6.1.2 服务器端设计 | 第101-102页 |
| 6.2 后端检索子系统实现 | 第102-104页 |
| 6.2.1 离线模块 | 第102-103页 |
| 6.2.2 在线模块 | 第103-104页 |
| 6.3 查询样例展示 | 第104-106页 |
| 6.4 本章小结 | 第106-107页 |
| 第7章 总结和展望 | 第107-110页 |
| 7.1 总结 | 第107-108页 |
| 7.2 展望 | 第108-110页 |
| 参考文献 | 第110-124页 |
| 致谢 | 第124-126页 |
| 攻读博士学位期间的科研成果 | 第126-128页 |
