视听融合算法的研究及应用
摘要 | 第5-6页 |
ABSTRACT | 第6页 |
第一章 绪论 | 第9-15页 |
1.1 课题研究的背景和意义 | 第9-11页 |
1.1.1 课题背景 | 第9-10页 |
1.1.2 课题研究意义 | 第10-11页 |
1.2 国内外现状 | 第11-12页 |
1.2.1 国外现状 | 第11-12页 |
1.2.2 国内现状 | 第12页 |
1.3 本文主要的研究内容 | 第12页 |
1.4 论文结构安排 | 第12-15页 |
第二章 国内外的音视频数据库 | 第15-21页 |
2.1 国外相关数据库 | 第15-17页 |
2.2 国内相关数据库 | 第17-18页 |
2.3 本文所使用的数据库 | 第18-21页 |
第三章 音视频特征的提取 | 第21-35页 |
3.1 音频处理和特征提取 | 第21-26页 |
3.1.1 预处理 | 第21-24页 |
3.1.2 音频特征提取 | 第24-26页 |
3.2 视频处理和特征提取 | 第26-35页 |
3.2.1 人脸检测 | 第26-28页 |
3.2.2 唇部定位 | 第28-29页 |
3.2.3 视频特征提取 | 第29-35页 |
第四章 视听融合模型的建立和研究 | 第35-55页 |
4.1 视听信息融合的理论研究 | 第35-38页 |
4.1.1 视听融合的级别 | 第35-36页 |
4.1.2 视听融合的方法 | 第36-38页 |
4.2 隐马尔科夫模型 | 第38-45页 |
4.2.1 隐马尔科夫模型(HMM)的定义 | 第38-39页 |
4.2.2 HMM 的结构和类型 | 第39-40页 |
4.2.3 HMM 的三个基本问题及解决方案 | 第40-45页 |
4.3 耦合隐马尔科夫模型 | 第45-55页 |
4.3.1 耦合隐马尔科夫模型的定义 | 第45-47页 |
4.3.2 耦合隐马尔科夫模型的改进 | 第47-48页 |
4.3.3 耦合隐马尔科夫模型的初始化 | 第48-49页 |
4.3.4 耦合隐马尔科夫模型的重估 | 第49-52页 |
4.3.5 耦合隐马尔科夫模型的识别 | 第52-53页 |
4.3.6 自适应的权值选择 | 第53-55页 |
第五章 基于视听融合的语音识别系统的实现 | 第55-65页 |
5.1 系统流程 | 第55页 |
5.2 视频特征提取 | 第55-58页 |
5.2.1 人脸的检测 | 第55-56页 |
5.2.2 唇部区域的处理 | 第56-58页 |
5.3 音频特征提取 | 第58-59页 |
5.4 基于 CHMM 的视听融合实现 | 第59-60页 |
5.4.1 数据库的应用 | 第59页 |
5.4.2 融合模型的建立 | 第59页 |
5.4.3 自适应权值选取 | 第59-60页 |
5.5 实验结果分析 | 第60-63页 |
5.6 结论 | 第63-65页 |
第六章 结论 | 第65-67页 |
6.1 课题总结 | 第65-66页 |
6.2 展望 | 第66-67页 |
参考文献 | 第67-71页 |
致谢 | 第71页 |