双模态信息融合的情感识别研究
| 摘要 | 第3-4页 |
| Abstract | 第4页 |
| 第一章 绪论 | 第8-12页 |
| 1.1 研究的背景与意义 | 第8-9页 |
| 1.2 国内外研究现状 | 第9-11页 |
| 1.2.1 国外研究现状 | 第9-10页 |
| 1.2.2 国内研究现状 | 第10-11页 |
| 1.3 本文研究内容及安排 | 第11-12页 |
| 第二章 情感分类与情感数据库 | 第12-16页 |
| 2.1 情感的定义以及分类 | 第12-14页 |
| 2.1.1 情感的定义 | 第12页 |
| 2.1.2 情感分类 | 第12-14页 |
| 2.2 情感数据库介绍 | 第14-15页 |
| 2.2.1 表情数据库 | 第14页 |
| 2.2.2 Surrey视听表情情感数据库 | 第14-15页 |
| 2.3 本章小结 | 第15-16页 |
| 第三章 语音情感的特征提取算法 | 第16-29页 |
| 3.1 语音信号的预处理 | 第16-18页 |
| 3.1.1 语音信号的滤波 | 第17页 |
| 3.1.2 预加重处理 | 第17页 |
| 3.1.3 语音信号的分帧 | 第17-18页 |
| 3.2 语音情感的特征选择与提取 | 第18-28页 |
| 3.2.1 统计学参数 | 第19页 |
| 3.2.2 短时能量 | 第19-21页 |
| 3.2.3 基音周期 | 第21-23页 |
| 3.2.4 共振峰 | 第23-24页 |
| 3.2.5 Mel频率倒谱系数 | 第24-28页 |
| 3.3 本章小结 | 第28-29页 |
| 第四章 人脸表情的特征提取算法 | 第29-45页 |
| 4.1 图像采集与图像选取 | 第29-32页 |
| 4.2 图像的预处理 | 第32-35页 |
| 4.2.1 图像去噪 | 第32-33页 |
| 4.2.2 ASM定位人脸及五官 | 第33-35页 |
| 4.3 完备局部二值法 | 第35-38页 |
| 4.4 结合拉普拉斯算子的CLBP特征提取 | 第38-40页 |
| 4.5 Gabor小波变换的特征提取 | 第40-41页 |
| 4.6 改进Gabor小波局部特征提取 | 第41-44页 |
| 4.7 本章小结 | 第44-45页 |
| 第五章 单模态以及双模态融合的情感识别 | 第45-63页 |
| 5.1 基于隐马尔科夫模型的语音情感识别 | 第45-48页 |
| 5.1.1 隐马尔可夫模型 | 第45-47页 |
| 5.1.2 HMM的语音情感识别实验 | 第47页 |
| 5.1.3 语音识别实验小结 | 第47-48页 |
| 5.2 基于深度信念网络的人脸表情识别 | 第48-54页 |
| 5.2.1 受限玻尔兹曼机 | 第48-50页 |
| 5.2.2 深度信念网络 | 第50-51页 |
| 5.2.3 DBN的表情识别实验 | 第51-53页 |
| 5.2.4 表情识别实验小结 | 第53-54页 |
| 5.3 双模态的融合识别实验 | 第54-58页 |
| 5.3.1 乘积规则 | 第55-57页 |
| 5.3.2 均值规则 | 第57页 |
| 5.3.3 最大值规则 | 第57页 |
| 5.3.4 最小值规则 | 第57-58页 |
| 5.4 融合算法结果分析 | 第58-62页 |
| 5.4.1 单模态与双模态实验结果对比 | 第58-59页 |
| 5.4.2 融合方法实验结果对比 | 第59-62页 |
| 5.5 本章小结 | 第62-63页 |
| 结论 | 第63-64页 |
| 参考文献 | 第64-68页 |
| 致谢 | 第68-69页 |
| 附录 | 第69-71页 |
| 攻读学位期间发表的学术论文及研究成果 | 第71页 |
