| 摘要 | 第4-5页 |
| abstract | 第5页 |
| 专用术语注释表 | 第8-9页 |
| 第一章 绪论 | 第9-14页 |
| 1.1 研究背景及意义 | 第9-10页 |
| 1.2 国内外研究进展 | 第10-12页 |
| 1.2.1 国外研究进展 | 第10-11页 |
| 1.2.2 国内研究进展 | 第11-12页 |
| 1.3 研究内容及章节安排 | 第12-14页 |
| 1.3.1 主要工作 | 第12页 |
| 1.3.2 章节安排 | 第12-14页 |
| 第二章 双模态情感识别概述 | 第14-21页 |
| 2.1 双模态情感识别系统框架 | 第14页 |
| 2.2 双模态情感数据库 | 第14-16页 |
| 2.3 双模态情感特征提取方法 | 第16-17页 |
| 2.3.1 表情特征提取 | 第16-17页 |
| 2.3.2 语音特征提取 | 第17页 |
| 2.4 双模态融合方法 | 第17-19页 |
| 2.4.1 决策层融合 | 第17-18页 |
| 2.4.2 特征层融合 | 第18-19页 |
| 2.5 情感识别分类方法 | 第19-20页 |
| 2.6 本章小结 | 第20-21页 |
| 第三章 双模态情感特征提取 | 第21-33页 |
| 3.1 人脸表情特征提取 | 第21-26页 |
| 3.1.1 表情图像预处理 | 第21-22页 |
| 3.1.2 Gabor特征提取 | 第22-24页 |
| 3.1.3 LBP特征提取 | 第24-26页 |
| 3.2 语音特征提取 | 第26-30页 |
| 3.2.1 语音预处理 | 第27页 |
| 3.2.2 常用的语音特征类别 | 第27-29页 |
| 3.2.3 open SMILE提取语音特征 | 第29-30页 |
| 3.3 特征降维 | 第30-32页 |
| 3.4 本章小结 | 第32-33页 |
| 第四章 基于表情和语音的双模态情感识别 | 第33-44页 |
| 4.1 支持向量机理论 | 第33-36页 |
| 4.1.1 线性支持向量机 | 第33-35页 |
| 4.1.2 核方法 | 第35-36页 |
| 4.1.3 非线性支持向量机 | 第36页 |
| 4.2 基于核矩阵特征层融合的双模态情感识别 | 第36-37页 |
| 4.3 基于多核学习的特征层融合的双模态情感识别 | 第37-41页 |
| 4.3.1 多核学习算法 | 第37-39页 |
| 4.3.2 基于Simple MKL的特征融合的情感识别 | 第39-41页 |
| 4.4 基于决策层融合的双模态情感识别 | 第41-43页 |
| 4.4.1 SVM后验概率输出 | 第41-42页 |
| 4.4.2 基于后验概率的决策层融合的情感识别 | 第42-43页 |
| 4.5 本章小结 | 第43-44页 |
| 第五章 实验与分析 | 第44-57页 |
| 5.1 基于表情的单模态情感识别实验 | 第44-47页 |
| 5.1.1 基于Gabor特征的表情识别实验及其结果 | 第44-45页 |
| 5.1.2 基于LBP特征的表情识别实验及其结果 | 第45-47页 |
| 5.2 基于语音的单模态情感识别实验 | 第47-49页 |
| 5.3 双模态情感识别实验 | 第49-54页 |
| 5.3.1 基于决策层融合的双模态情感识别实验及其结果 | 第49-51页 |
| 5.3.2 基于特征串联的双模态情感识别实验及其结果 | 第51页 |
| 5.3.3 基于核矩阵特征融合的双模态情感识别实验及其结果 | 第51-52页 |
| 5.3.4 基于多核学习特征层融合的双模态情感识别实验及其结果 | 第52-54页 |
| 5.4 实验结果分析与讨论 | 第54-55页 |
| 5.5 本章小结 | 第55-57页 |
| 第六章 总结与展望 | 第57-60页 |
| 6.1 总结 | 第57-58页 |
| 6.2 展望 | 第58-60页 |
| 参考文献 | 第60-63页 |
| 附录1 攻读硕士学位期间申请的专利 | 第63-64页 |
| 附录2 攻读硕士学位期间参加的科研项目 | 第64-65页 |
| 致谢 | 第65页 |
