基于数据挖掘的虚拟人多模式行为合成研究
| 摘要 | 第1-6页 |
| ABSTRACT | 第6-12页 |
| 第一章 引言 | 第12-30页 |
| ·研究背景及意义 | 第13-15页 |
| ·虚拟人合成的研究 | 第13-14页 |
| ·虚拟人多模式行为合成的研究 | 第14-15页 |
| ·虚拟人多模式行为合成研究现状 | 第15-25页 |
| ·语音人脸动画同步关联学习 | 第16-20页 |
| ·多模式行为协同韵律学习 | 第20-23页 |
| ·数据挖掘概念与方法 | 第23-25页 |
| ·问题的提出和本文主要贡献 | 第25-28页 |
| ·存在的问题 | 第25-26页 |
| ·本论文的主要贡献 | 第26-28页 |
| ·论文的组织结构 | 第28-30页 |
| 第二章 多模式行为数据准备与预处理 | 第30-44页 |
| ·问题的提出 | 第31页 |
| ·背景知识 | 第31-35页 |
| ·人脸动画参数化 | 第31-32页 |
| ·MPEG4 标准与人脸动画 | 第32页 |
| ·FDP、FAP 与FAPU 的定义 | 第32-34页 |
| ·基于FAP 的人脸动画实现 | 第34-35页 |
| ·音视频数据的同步获取方法 | 第35-38页 |
| ·音视频数据的同步分割方法 | 第38-39页 |
| ·音视频数据的预处理方法 | 第39-42页 |
| ·特征点提取 | 第39-40页 |
| ·平滑和滤噪 | 第40-41页 |
| ·归一化FAP 计算 | 第41-42页 |
| ·本章小结 | 第42-44页 |
| 第三章 多模式行为数据特征表达与提取 | 第44-56页 |
| ·问题的提出 | 第45页 |
| ·人脸运动特征表达与动画合成 | 第45-47页 |
| ·人脸运动特征表达 | 第45-46页 |
| ·人脸动画合成存在的问题 | 第46页 |
| ·基本策略 | 第46-47页 |
| ·基于聚类的人脸运动特征模式发现 | 第47-51页 |
| ·基本思想 | 第47-48页 |
| ·人脸动画参数模式聚类发现 | 第48-50页 |
| ·实验分析 | 第50-51页 |
| ·基于统计的人脸运动特征的正交基发现 | 第51-55页 |
| ·基本思想 | 第51-52页 |
| ·基于PCA 的正交基发现 | 第52-54页 |
| ·实验分析 | 第54-55页 |
| ·本章小结 | 第55-56页 |
| 第四章 多模式行为同步关联学习 | 第56-72页 |
| ·问题的提出 | 第57-58页 |
| ·语音唇动同步映射方法 | 第58-60页 |
| ·线性映射方法 | 第58页 |
| ·局部线性映射方法 | 第58-59页 |
| ·非线性映射方法 | 第59-60页 |
| ·基于FAPP 的语音人脸神经网络映射方法 | 第60-62页 |
| ·问题 | 第60页 |
| ·同步学习策略 | 第60页 |
| ·同步学习框架 | 第60-61页 |
| ·同步学习神经网络结构 | 第61-62页 |
| ·实验分析 | 第62页 |
| ·小结 | 第62页 |
| ·基于PDTN 的语音人脸实时同步映射方法 | 第62-71页 |
| ·问题 | 第62-63页 |
| ·参数化动态转移网络模型（PDTN） | 第63-66页 |
| ·PDTN 中的参数选取 | 第66页 |
| ·PDTN 中的统计方法 | 第66-67页 |
| ·PDTN 中的神经网络方法 | 第67-68页 |
| ·实验分析 | 第68-71页 |
| ·本章小结 | 第71-72页 |
| 第五章 多模式行为协同韵律学习 | 第72-94页 |
| ·问题的提出 | 第73页 |
| ·虚拟人单模式行为韵律模型 | 第73-78页 |
| ·语音韵律模式 | 第74页 |
| ·语音韵律模式的标注 | 第74-76页 |
| ·其他行为的韵律模型 | 第76-77页 |
| ·行为韵律模型的标注 | 第77-78页 |
| ·虚拟人单模式行为韵律模型学习 | 第78-85页 |
| ·韵律模式的学习问题 | 第78-79页 |
| ·多策略数据挖掘框架 | 第79-80页 |
| ·语音韵律模式的表达 | 第80页 |
| ·基于贝叶斯网的语言特征选取 | 第80-83页 |
| ·学习方法 | 第83-84页 |
| ·实验分析 | 第84-85页 |
| ·虚拟人多模式行为协同韵律模型 | 第85-92页 |
| ·虚拟人多模式行为协同合成 | 第85-87页 |
| ·协同韵律模型框架 | 第87页 |
| ·协同韵律参数控制方法 | 第87-90页 |
| ·实验分析 | 第90-92页 |
| ·本章小结 | 第92页 |
| ·附录 | 第92-94页 |
| 第六章 虚拟人多模式行为合成系统 | 第94-112页 |
| ·问题的提出 | 第95页 |
| ·语音驱动人脸动画系统 | 第95-103页 |
| ·系统框架 | 第95-96页 |
| ·人脸特征点跟踪 | 第96-97页 |
| ·语音人脸同步学习 | 第97页 |
| ·人脸建模 | 第97-99页 |
| ·人脸动画 | 第99-101页 |
| ·系统演示 | 第101-103页 |
| ·文本驱动虚拟人多模式行为合成 | 第103-107页 |
| ·系统框架 | 第103-104页 |
| ·文本分析 | 第104-105页 |
| ·多模式行为协同韵律模型 | 第105页 |
| ·语音合成 | 第105页 |
| ·人脸动画合成 | 第105页 |
| ·手语合成 | 第105-106页 |
| ·系统演示 | 第106-107页 |
| ·面向聋人-健听人交流的对话系统 | 第107-109页 |
| ·系统应用场景 | 第107-108页 |
| ·系统健听人端显示 | 第108-109页 |
| ·系统聋人端 | 第109页 |
| ·低带宽网上虚拟人信息发布系统 | 第109-110页 |
| ·系统远程信息提供端 | 第110页 |
| ·系统客户端 | 第110页 |
| ·本章小结 | 第110-112页 |
| 第七章 结论以及将来的工作 | 第112-118页 |
| ·研究的问题以及意义 | 第113页 |
| ·问题的难点以及本文的工作 | 第113-115页 |
| ·多模式行为数据准备与预处理 | 第113页 |
| ·多模式行为数据的特征表达与提取 | 第113-114页 |
| ·多模式行为数据同步关联学习 | 第114页 |
| ·多模式行为数据协同韵律学习 | 第114-115页 |
| ·虚拟人多模式行为合成系统 | 第115页 |
| ·将来的工作 | 第115-118页 |
| 参考文献 | 第118-128页 |
| 作者简历及论文发表情况 | 第128-130页 |
| 致谢 | 第130页 |
