| 摘要 | 第4-5页 |
| ABSTRACT | 第5-6页 |
| 第一章 绪论 | 第9-17页 |
| 1.1 引言 | 第9-10页 |
| 1.2 课题背景及意义 | 第10-12页 |
| 1.3 国内外研究现状 | 第12-16页 |
| 1.3.1 视听信息一致性编码的研究现状 | 第13-15页 |
| 1.3.2 视听信息融合技术研究现状 | 第15-16页 |
| 1.4 论文主要研究工作 | 第16-17页 |
| 第二章 视听信息的生理学研究及启示 | 第17-31页 |
| 2.1 引言 | 第17页 |
| 2.2 视听信息生理学传导机制及启示 | 第17-22页 |
| 2.2.1 人类视觉系统 | 第17-20页 |
| 2.2.2 人类听觉系统 | 第20-22页 |
| 2.3 视听感知模式的相关性研究及启示 | 第22-24页 |
| 2.4 人类大脑中视听信息融合现象与分析 | 第24-27页 |
| 2.5 视听信息生理学启示性处理模型 | 第27-29页 |
| 2.6 本章小结 | 第29-31页 |
| 第三章 信息融合理论与方法 | 第31-41页 |
| 3.1 引言 | 第31页 |
| 3.2 融合策略 | 第31-32页 |
| 3.3 识别算法 | 第32-34页 |
| 3.4 视觉信息转化为听觉信息 | 第34-36页 |
| 3.5 主成分分析算法描述与研究 | 第36-39页 |
| 3.6 融合算法框架的搭建 | 第39-40页 |
| 3.7 本章小结 | 第40-41页 |
| 第四章 视听信息融合主要算法的建立与分析 | 第41-57页 |
| 4.1 引言 | 第41-42页 |
| 4.2 视觉信息与听觉信息的前期处理 | 第42-44页 |
| 4.2.1 音频信息的增强预处理 | 第42-43页 |
| 4.2.2 视频的增强处理 | 第43-44页 |
| 4.3 对图像进行可听化处理 | 第44-46页 |
| 4.4 两种信息之间的拼接，信息频域分析和信息归一化 | 第46-49页 |
| 4.4.1 视听信息之间的拼接 | 第46页 |
| 4.4.2 频域分析 | 第46-48页 |
| 4.4.3 归一化运算 | 第48-49页 |
| 4.5 主成分分析 | 第49-51页 |
| 4.6 基于 BP 神经网络的分类器设计 | 第51-53页 |
| 4.6.1 输入层和输出层的设计 | 第52页 |
| 4.6.2 隐含层及其节点数的数目 | 第52页 |
| 4.6.3 初始值的选取 | 第52页 |
| 4.6.4 测试识别阶段 | 第52-53页 |
| 4.7 从维度角度分析算法 | 第53页 |
| 4.8 算法的融合层级讨论 | 第53-56页 |
| 4.9 本章小结 | 第56-57页 |
| 第五章 算法的实现与实验验证 | 第57-69页 |
| 5.1 引言 | 第57-58页 |
| 5.2 硬件实验平台组成及工作原理 | 第58-63页 |
| 5.2.1 实验平台整体构成 | 第58-62页 |
| 5.2.2 监测关键点的选取 | 第62-63页 |
| 5.3 软件系统实验 | 第63-66页 |
| 5.3.1 主要算法实现及开发环境 | 第63页 |
| 5.3.2 视听信息融合应用系统软件流程 | 第63-65页 |
| 5.3.3 实验方法与过程 | 第65-66页 |
| 5.3.4 实验结果与分析 | 第66页 |
| 5.4 实验结论 | 第66-67页 |
| 5.5 本章小结 | 第67-69页 |
| 第六章 总结和展望 | 第69-71页 |
| 参考文献 | 第71-75页 |
| 致谢 | 第75页 |