| 摘要 | 第4-6页 |
| Abstract | 第6-7页 |
| 第一章 绪论 | 第11-24页 |
| 1.1 研究背景及意义 | 第11-22页 |
| 1.1.1 基于神经网络语言模型的相关研究 | 第12-17页 |
| 1.1.2 分布式计算框架的相关研究 | 第17-22页 |
| 1.2 本文的主要工作和组织结构 | 第22-24页 |
| 1.2.1 本文的主要工作 | 第22-23页 |
| 1.2.2 本文的组织结构 | 第23-24页 |
| 第二章 面向大规模RNNLM的结构分析 | 第24-34页 |
| 2.1 现有RNNLM算法的分析 | 第24-27页 |
| 2.2 基于Spark大规模RNNLM的相关定义 | 第27-28页 |
| 2.3 基于Spark大规模RNNLM的结构 | 第28-32页 |
| 2.4 本章小结 | 第32-34页 |
| 第三章 基于并行神经元的RNNLM | 第34-43页 |
| 3.1 分布式神经元自主训练策略 | 第34-36页 |
| 3.1.1 单个神经元ac值的计算 | 第34-35页 |
| 3.1.2 单个神经元与输出层之间权重的更新 | 第35页 |
| 3.1.3 单个神经元与上次隐藏层之间权重的更新 | 第35-36页 |
| 3.1.4 单个神经元与输入层之间权重的更新 | 第36页 |
| 3.2 神经元的协调策略 | 第36-38页 |
| 3.3 原型系统测试与分析 | 第38-42页 |
| 3.3.1 原型系统与测试环境 | 第38-39页 |
| 3.3.2 使用大规模语料的测试与分析 | 第39-40页 |
| 3.3.3 使用小规模语料的测试与分析 | 第40-41页 |
| 3.3.4 非对称Spark集群中的测试与分析 | 第41-42页 |
| 3.4 本章小结 | 第42-43页 |
| 第四章 大规模分布式RNNLM的性能优化 | 第43-59页 |
| 4.1 制约大规模分布式RNNLM性能的因素 | 第43-45页 |
| 4.2 面向分布式神经元的高效传输机制 | 第45-53页 |
| 4.2.1 数据共享方式 | 第45-46页 |
| 4.2.2 基于远程直接数据存取的传输策略 | 第46-51页 |
| 4.2.3 基于参数合并的广播式传输策略 | 第51-53页 |
| 4.3 基于NVM的容错机制 | 第53-54页 |
| 4.4 面向分布式RNNLM的内存优化 | 第54-55页 |
| 4.5 原型系统测试与分析 | 第55-58页 |
| 4.5.1 原型系统与测试环境 | 第55-56页 |
| 4.5.2 使用大规模RNNLM Toolkit语料的测试与分析 | 第56-57页 |
| 4.5.3 优化前后的测试与分析 | 第57-58页 |
| 4.6 本章小结 | 第58-59页 |
| 第五章 原型系统的测试与分析 | 第59-65页 |
| 5.1 基于Spark的大规模RNNLM原型系统的实现 | 第59-61页 |
| 5.1.1 数据分布模块 | 第59页 |
| 5.1.2 数据收集模块 | 第59页 |
| 5.1.3 汇聚计算模块 | 第59-60页 |
| 5.1.4 分布计算模块 | 第60页 |
| 5.1.5 权重更新模块 | 第60页 |
| 5.1.6 容错机制优化模块 | 第60页 |
| 5.1.7 内存优化模块 | 第60-61页 |
| 5.1.8 基于数据聚合的通信模块 | 第61页 |
| 5.2 原型系统的测试与分析 | 第61-64页 |
| 5.2.1 改变神经元数量的测试与分析 | 第62页 |
| 5.2.2 改变语料规模的测试与分析 | 第62-64页 |
| 5.3 本章小结 | 第64-65页 |
| 第六章 总结 | 第65-67页 |
| 6.1 工作总结 | 第65-66页 |
| 6.2 工作展望 | 第66-67页 |
| 参考文献 | 第67-71页 |
| 致谢 | 第71-72页 |
| 在学期间发表的学术论文及其他科研成果 | 第72页 |