| 摘要 | 第1-7页 |
| ABSTRACT | 第7-17页 |
| 主要符号对照表 | 第17-19页 |
| 第一章 绪论 | 第19-39页 |
| ·研究背景及意义 | 第19-20页 |
| ·深度学习研究现状 | 第20-21页 |
| ·深度神经网络简介 | 第21-24页 |
| ·网络结构 | 第21-22页 |
| ·后向传播算法 | 第22-24页 |
| ·递归神经网络简介 | 第24-28页 |
| ·网络结构 | 第24-26页 |
| ·时域后向传播算法 | 第26-28页 |
| ·长短时记忆元递归神经网络 | 第28-32页 |
| ·LSTM结构 | 第28-30页 |
| ·后向传播[2] | 第30-32页 |
| ·深度学习模型在大词汇量连续语音识别中的应用 | 第32-33页 |
| ·序列标注的连接时序分类训练[2] | 第33-37页 |
| ·相关概念 | 第33-34页 |
| ·前后向算法 | 第34-36页 |
| ·模型训练 | 第36-37页 |
| ·解码算法 | 第37页 |
| ·本文主要工作 | 第37-38页 |
| ·本文结构安排 | 第38-39页 |
| 第二章 基于样本分离边距的最小分类误差准则在深度神经网络训练中的应用 | 第39-53页 |
| ·引言 | 第39页 |
| ·ReLU-DNN在模式分类问题中的应用 | 第39-42页 |
| ·交叉熵准则 | 第42-43页 |
| ·最小分类误差准则 | 第43-45页 |
| ·基于样本分离边距的最小分类误差准则 | 第45-48页 |
| ·实验结果 | 第48-51页 |
| ·实验设置 | 第48-49页 |
| ·手写识别实验结果 | 第49-50页 |
| ·语音识别实验结果 | 第50-51页 |
| ·本章小结 | 第51-53页 |
| 第三章 长短时记忆元递归神经网络的一种快速训练算法 | 第53-73页 |
| ·引言 | 第53-55页 |
| ·递归神经网络训练算法回顾 | 第55-59页 |
| ·BPTT(∞)算法 | 第55-56页 |
| ·BPTT(h)算法 | 第56页 |
| ·BPTT(h,h')算法 | 第56-57页 |
| ·Epoch-wise BPTT算法 | 第57-59页 |
| ·RTRL算法 | 第59页 |
| ·基于上下文敏感区块的BPTT算法 | 第59-62页 |
| ·上下文敏感区块定义 | 第59-60页 |
| ·训练算法 | 第60-61页 |
| ·解码算法 | 第61-62页 |
| ·其他研究组的相关后续工作 | 第62页 |
| ·实验结果 | 第62-71页 |
| ·手写识别任务 | 第63-66页 |
| ·大词汇量连续语音识别任务 | 第66-71页 |
| ·本章小结 | 第71-73页 |
| 第四章 深度学习模型的数据并行训练算法 | 第73-107页 |
| ·引言 | 第73-75页 |
| ·相关工作 | 第75-77页 |
| ·异步随机梯度下降算法 | 第75页 |
| ·模型平均算法 | 第75-76页 |
| ·1-bit SGD[3] | 第76-77页 |
| ·数据并行增量块训练框架 | 第77-78页 |
| ·基于ADMM的IBT算法 | 第78-83页 |
| ·ADMM算法的一般形式 | 第79-80页 |
| ·全局一致问题的ADMM求解算法 | 第80-81页 |
| ·基于ADMM的深度学习模型训练IBT算法 | 第81-83页 |
| ·基于数据并行优化和BMUF的IBT算法 | 第83-90页 |
| ·MA算法与SGD算法比较 | 第84-85页 |
| ·逐区块模型更新滤波技术 | 第85-88页 |
| ·BMUF算法技术原理 | 第88-89页 |
| ·BMUF算法训练参数设置准则 | 第89-90页 |
| ·训练系统实现 | 第90-91页 |
| ·实验平台 | 第90-91页 |
| ·实现细节 | 第91页 |
| ·实验结果 | 第91-105页 |
| ·实验数据集 | 第91-92页 |
| ·基于ADMM的分布式IBT算法实验结果 | 第92-96页 |
| ·基于数据并行优化和BMUF的IBT算法 | 第96-105页 |
| ·本章小结 | 第105-107页 |
| 第五章 总结和展望 | 第107-111页 |
| ·本文研究重点回顾 | 第107-108页 |
| ·研究工作展望 | 第108-111页 |
| 参考文献 | 第111-121页 |
| 致谢 | 第121-123页 |
| 在读期间发表的学术论文与取得的研究成果 | 第123页 |