| 第一章 绪论 | 第1-11页 |
| ·引言 | 第8-9页 |
| ·多模态集成方法 | 第9-10页 |
| ·论文的主要工作 | 第10-11页 |
| 第二章 单模态识别方法 | 第11-17页 |
| ·语音识别方法 | 第11-14页 |
| ·语音识别技术简介 | 第11页 |
| ·语音识别系统 | 第11-12页 |
| ·语音识别在多模系统中的使用 | 第12页 |
| ·主流的语音识别技术 | 第12-14页 |
| ·手势识别方法 | 第14-16页 |
| ·手势识别简介 | 第14页 |
| ·基于笔输入的手势识别方法 | 第14-15页 |
| ·基于视觉的手势识别 | 第15-16页 |
| ·小结 | 第16-17页 |
| 第三章 多模态集成方法研究 | 第17-35页 |
| ·集成方法概述 | 第17-21页 |
| ·介绍 | 第17-18页 |
| ·QuickSet：一种提供分布式交互模拟功能的多模态接口 | 第18-21页 |
| ·基于统计的多模态集成方法 | 第21-25页 |
| ·基于各模态间相互独立性假设的概率集成方法 | 第21-23页 |
| ·基于相关性研究的统计方法 | 第23-25页 |
| ·基于句法分析的多模态集成方法 | 第25-30页 |
| ·介绍 | 第25-26页 |
| ·基于合一化句法分析的多模集成架构 | 第26页 |
| ·使用线图表示输入的特征结构 | 第26-30页 |
| ·基于有限状态机多模集成方法 | 第30-34页 |
| ·介绍 | 第30-31页 |
| ·有限状态语言处理 | 第31页 |
| ·有限状态多模态语法 | 第31-34页 |
| ·小结 | 第34-35页 |
| 第四章 基于统计的多模集成方法的研究和实验 | 第35-50页 |
| ·基于相关性研究的主要的集成方法 | 第35-42页 |
| ·影响多模识别性能的主要因素 | 第35-37页 |
| ·多模后验概率的集成 | 第37-38页 |
| ·估计方法 | 第38-40页 |
| ·成员到队列再到集群：MTC方法 | 第40-42页 |
| ·实验研究 | 第42-44页 |
| ·研究方案及所采用的措施 | 第42页 |
| ·语音输入的识别措施 | 第42-44页 |
| ·手势识别算法 | 第44-49页 |
| ·记录手势轨迹 | 第44页 |
| ·预处理 | 第44-45页 |
| ·特征提取 | 第45-46页 |
| ·特征匹配 | 第46-49页 |
| ·输入识别精确度的确认 | 第49页 |
| ·实验结果及分析 | 第49页 |
| ·小结 | 第49-50页 |
| 第五章 基于句法分析的多模集成方法的研究 | 第50-65页 |
| ·使用线图对多模态输入进行集成 | 第50-58页 |
| ·多维空间的分析 | 第51-53页 |
| ·基于合一化的多模态语法表示 | 第53-55页 |
| ·多模态子分类化 | 第55-57页 |
| ·复杂手势的可视化分析 | 第57-58页 |
| ·实验研究 | 第58-63页 |
| ·研究方案和所采用的实验措施 | 第58-59页 |
| ·句法分析集成方法的实验系统 | 第59-63页 |
| ·实验结果分析 | 第63页 |
| ·小结 | 第63-65页 |
| 第六章 使用有限状态机进行集成方法的研究 | 第65-77页 |
| ·应用多模态有限状态转换器 | 第65-67页 |
| ·有限状态机方法的实现 | 第67-76页 |
| ·有限状态机的实现方法 | 第67-68页 |
| ·实现函数 | 第68-76页 |
| ·小结 | 第76-77页 |
| 第七章 总结与展望 | 第77-79页 |
| ·论文总结 | 第77页 |
| ·进一步的工作 | 第77-79页 |
| 致谢 | 第79-80页 |
| 参考文献 | 第80-82页 |