摘要 | 第5-7页 |
ABSTRACT | 第7-8页 |
第1章 综述 | 第12-39页 |
1.1 互联网图像搜索的现状 | 第12-15页 |
1.2 图像搜索及多模态学习的进展 | 第15-35页 |
1.2.1 失量量化或共生模型 | 第16-17页 |
1.2.2 机器翻译模型 | 第17-18页 |
1.2.3 相关模型 | 第18-19页 |
1.2.4 加入类别信息的结构模型 | 第19-24页 |
1.2.5 多标注学 | 第24-25页 |
1.2.6 互补的多模态融合 | 第25页 |
1.2.7 基于矩阵分解的多模态融合 | 第25-27页 |
1.2.8 基于调和场模型的多模态融合 | 第27-29页 |
1.2.9 基于对齐学习的多模态融合 | 第29-31页 |
1.2.10 多模态联合学习 | 第31-33页 |
1.2.11 一致性的多模态学习 | 第33-34页 |
1.2.12 大数据驱动的多模态学习 | 第34-35页 |
1.3 多模态学习模型的设计需求 | 第35-36页 |
1.4 小结 | 第36-37页 |
1.5 全文章节安排 | 第37-39页 |
第2章 对齐增强的多模态融合 | 第39-60页 |
2.1 多模态互相增强的模型 | 第39-40页 |
2.2 模态内高阶相似度的增强 | 第40-41页 |
2.3 多模态之间的对齐增强 | 第41-43页 |
2.4 多模态之间的匹配 | 第43-45页 |
2.5 实验与分析 | 第45-59页 |
2.5.1 模态间关系增强方法的对比实验 | 第45-54页 |
2.5.2 模态内高阶相似度增强的实验 | 第54-57页 |
2.5.3 模态间相关关系预测的对比实验 | 第57-59页 |
2.6 小结 | 第59-60页 |
第3章 基于电路网络的多模态融合 | 第60-77页 |
3.1 核矩阵 | 第60-61页 |
3.2 马尔可夫场和电路网络 | 第61-62页 |
3.3 单源单地电路网络和谱聚类 | 第62-63页 |
3.4 单地多源电路网络和等周分割模型 | 第63-64页 |
3.5 电路网络的希尔伯特空间解释 | 第64-65页 |
3.6 电路网络和网页排名、流形排序的联系 | 第65-68页 |
3.7 基于电路网络的多图融合模型 | 第68-69页 |
3.8 基于电路网络的多图融合模型的正则化表达 | 第69-71页 |
3.9 实验及分析 | 第71-75页 |
3.9.1 无监督情况下单模态搜索性能评估 | 第72-73页 |
3.9.2 无监督情况下多模态融合后搜索性能评估 | 第73-75页 |
3.10 小结 | 第75-77页 |
第4章 多模态融合的深入分析 | 第77-88页 |
4.1 流形的偏微分方程分析 | 第77-78页 |
4.2 扩散的多尺度分析 | 第78-79页 |
4.3 流形的多尺度分析 | 第79-80页 |
4.4 k近邻核的多分辨率去噪 | 第80-82页 |
4.5 多模态融合的偏微分方程分析 | 第82-83页 |
4.6 实验与分析 | 第83-87页 |
4.6.1 多分辨率近邻滤波的对比实验 | 第84-85页 |
4.6.2 基于电路网络的多模态融合加模态间对齐增强的对比实验 | 第85-87页 |
4.7 小结与展望 | 第87-88页 |
第5章 总结与展望 | 第88-93页 |
5.1 本文的技术路线 | 第88-89页 |
5.2 本文的贡献 | 第89-90页 |
5.3 工作展望 | 第90-93页 |
参考文献 | 第93-102页 |
致谢 | 第102-103页 |
在读期间发表的学术论文与取得的其他研究成果 | 第103页 |