摘要 | 第4-6页 |
Abstract | 第6-7页 |
第1章 绪论 | 第11-15页 |
1.1 研究背景及意义 | 第11页 |
1.2 国内外研究现状 | 第11-13页 |
1.3 视频文字描述任务存在的困难 | 第13-14页 |
1.4 本文研究的问题及整体框架 | 第14页 |
1.5 本章小结 | 第14-15页 |
第2章 相关技术介绍 | 第15-25页 |
2.1 卷积神经网络(CNN) | 第15-16页 |
2.2 VGG-16 | 第16-17页 |
2.3 修正线性激活单元(Re LU) | 第17-19页 |
2.4 Batch Normalization | 第19-20页 |
2.5 Faster R-CNN | 第20-21页 |
2.6 循环神经网络 | 第21-23页 |
2.7 LSTM | 第23-24页 |
2.8 本章小结 | 第24-25页 |
第3章 基于Faster R-CNN的预训练视觉模型训练 | 第25-39页 |
3.1 Faster R-CNN详细分析 | 第25-28页 |
3.1.1 Anchor | 第26-27页 |
3.1.2 Ro I Pooling | 第27-28页 |
3.2 预训练视觉模型设计 | 第28-33页 |
3.2.1 双线性采样层取代Ro I Pooling层 | 第28-30页 |
3.2.2 采样网格计算 | 第30-31页 |
3.2.3 梯度流动与反向传播 | 第31-32页 |
3.2.4 模型设计 | 第32-33页 |
3.3 实现细节 | 第33-36页 |
3.3.1 候选区域采样 | 第33页 |
3.3.2 边界框(Bounding Box)回归 | 第33-35页 |
3.3.3 目标函数 | 第35-36页 |
3.4 实验 | 第36-37页 |
3.4.1 数据集和细节 | 第36页 |
3.4.2 结果 | 第36-37页 |
3.5 本章小结 | 第37-39页 |
第4章 基于MIMLL的视觉模型Lexical R-CNN | 第39-47页 |
4.1 迁移学习 | 第39-41页 |
4.1.1 迁移学习背景 | 第39-40页 |
4.1.2 迁移学习定义 | 第40页 |
4.1.3 视觉模型的迁移 | 第40-41页 |
4.2 多实例多标签学习(MIMLL) | 第41-43页 |
4.2.1 多实例学习(MIL) | 第41页 |
4.2.2 多标签学习(MLL) | 第41-42页 |
4.2.3 多实例多标签学习(MIMLL) | 第42-43页 |
4.3 Lexical R-CNN模型设计 | 第43-45页 |
4.3.1 区域筛选 | 第43-44页 |
4.3.2 训练方法 | 第44页 |
4.3.3 模型设计 | 第44-45页 |
4.4 本章小结 | 第45-47页 |
第5章 基于LSTM的语言模型设计 | 第47-53页 |
5.1 S2VT方法介绍 | 第47-49页 |
5.1.1 序列建模的LSTM方法 | 第47-48页 |
5.1.2 视频到文字的序列到序列建模方法 | 第48-49页 |
5.1.3 视频和文本表示 | 第49页 |
5.2 S2VT改进 | 第49-51页 |
5.2.1 存在问题 | 第49-50页 |
5.2.2 双向LSTM | 第50-51页 |
5.3 改进后的语言模型 | 第51-52页 |
5.4 本章小结 | 第52-53页 |
第6章 视频字幕模型 | 第53-67页 |
6.1 区域序列生成 | 第53-56页 |
6.1.1 形式化问题 | 第53-54页 |
6.1.2 次模函数 | 第54-55页 |
6.1.3 次模函数最大化和贪心求解 | 第55-56页 |
6.2 区域序列生成中的次模函数定义 | 第56-59页 |
6.2.1 信息衡量定义 | 第57-58页 |
6.2.2 多样性衡量定义 | 第58页 |
6.2.3 连贯性衡量定义 | 第58页 |
6.2.4 区域序列生成过程简述 | 第58-59页 |
6.3 次模函数训练 | 第59-60页 |
6.3.1 次模参数学习 | 第59页 |
6.3.2 区域序列关联句子标记 | 第59-60页 |
6.4 视频字幕整体模型 | 第60-62页 |
6.4.1 模型描述及示意 | 第60-61页 |
6.4.2 损失函数 | 第61-62页 |
6.5 实验 | 第62-66页 |
6.5.1 数据集及细节 | 第62-63页 |
6.5.2 结果比较 | 第63-64页 |
6.5.3 运行时间 | 第64-65页 |
6.5.4 字幕生成示例图 | 第65-66页 |
6.6 本章小结 | 第66-67页 |
第7章 总结与展望 | 第67-69页 |
7.1 总结 | 第67页 |
7.2 展望 | 第67-69页 |
参考文献 | 第69-73页 |
作者简介及在学期间所取得的科研成果 | 第73-75页 |
致谢 | 第75页 |