| 摘要 | 第4-5页 |
| abstract | 第5页 |
| 第一章 绪论 | 第8-14页 |
| 1.1 研究背景和意义 | 第8页 |
| 1.2 情感的定义与表示 | 第8-9页 |
| 1.3 国内外研究现状 | 第9-11页 |
| 1.3.1 表情识别研究现状 | 第9-10页 |
| 1.3.2 语音情感识别研究现状 | 第10-11页 |
| 1.3.3 视听觉结合的多模态情感识别研究现状 | 第11页 |
| 1.4 主要研究内容及结构安排 | 第11-14页 |
| 1.4.1 主要研究内容 | 第11-13页 |
| 1.4.2 结构安排 | 第13-14页 |
| 第二章 视听觉感知系统 | 第14-20页 |
| 2.1 与情感有关的特征及其变化性分析 | 第14-16页 |
| 2.1.1 声音中的情感特征 | 第14-15页 |
| 2.1.2 人脸表情中的情感特征 | 第15-16页 |
| 2.2 视听觉情感信息融合与时序性分析 | 第16-17页 |
| 2.3 大脑对情感信息的处理 | 第17-19页 |
| 2.3.1 信息的分层传递与处理 | 第17-18页 |
| 2.3.2 神经元的记忆与反馈 | 第18-19页 |
| 2.4 本章小结 | 第19-20页 |
| 第三章 基于人耳听觉机理的语音情感识别 | 第20-28页 |
| 3.1 Mel频率倒谱系数 | 第20-21页 |
| 3.2 基于Mel尺度小波包分解的子带能量 | 第21-24页 |
| 3.2.1 小波包变换 | 第21-22页 |
| 3.2.2 基于Mel尺度小波包子带能量 | 第22-24页 |
| 3.3 一阶差分动态特征 | 第24页 |
| 3.4 实验与分析 | 第24-27页 |
| 3.4.1 单一特征识别性能 | 第25-26页 |
| 3.4.2 分类方法比较 | 第26-27页 |
| 3.5 本章小结 | 第27-28页 |
| 第四章 模拟视觉感知的动态表情识别 | 第28-37页 |
| 4.1 基于DMF_MeanShift的表情特征点提取 | 第28-29页 |
| 4.2 光流运动特征计算 | 第29-30页 |
| 4.3 基于“what”通路的表情特征提取 | 第30-33页 |
| 4.3.1 局部不变性特征 | 第31-32页 |
| 4.3.2 全局不变性特征 | 第32-33页 |
| 4.4 基于改进循环神经网络的动态表情识别 | 第33-34页 |
| 4.4.1 动态特征提取方案设计 | 第33页 |
| 4.4.2 循环神经网络分类器设计 | 第33-34页 |
| 4.5 实验与分析 | 第34-36页 |
| 4.5.1 特征点标定实验 | 第34-35页 |
| 4.5.2 表情识别结果 | 第35-36页 |
| 4.6 本章小结 | 第36-37页 |
| 第五章 表情和语音相融合的多模态情感识别 | 第37-47页 |
| 5.1 循环神经网络 | 第37-42页 |
| 5.1.1 RNN基本结构 | 第37页 |
| 5.1.2 前向传播 | 第37-39页 |
| 5.1.3 BPTT训练 | 第39-42页 |
| 5.2 联合视听觉信息的情感识别方法 | 第42-44页 |
| 5.2.1 决策层融合 | 第42-43页 |
| 5.2.2 特征层融合 | 第43-44页 |
| 5.3 实验与分析 | 第44-46页 |
| 5.3.1 表情语音感数据库 | 第44页 |
| 5.3.2 单模态情感识别实验 | 第44-45页 |
| 5.3.3 多模态情感识别实验 | 第45-46页 |
| 5.4 本章小结 | 第46-47页 |
| 第六章 总结与展望 | 第47-49页 |
| 6.1 全文总结 | 第47页 |
| 6.2 展望 | 第47-49页 |
| 参考文献 | 第49-52页 |
| 发表论文和科研情况说明 | 第52-53页 |
| 致谢 | 第53页 |