| 第1章 绪论 | 第5-21页 |
| 1.1 选题的背景和意义 | 第5-8页 |
| 1.2 国内外研究现状 | 第8-16页 |
| 1.3 研究内容和主要贡献 | 第16-19页 |
| 1.4 本论文大纲 | 第19-21页 |
| 第2章 深度学习中的优化问题背景介绍 | 第21-43页 |
| 2.1 深度神经网络简介 | 第21-29页 |
| 2.2 机器学习中的优化方法简介 | 第29-39页 |
| 2.3 机器学习中的泛化误差简介 | 第39-43页 |
| 第3章 正尺度伸缩不变的模型参数空间 | 第43-77页 |
| 3.1 引言 | 第43-45页 |
| 3.2 正尺度伸缩不变空间 | 第45-56页 |
| 3.3 正尺度伸缩不变空间中的优化算法 | 第56-66页 |
| 3.4 正尺度伸缩不变空间中的复杂度控制 | 第66-76页 |
| 3.5 本章总结 | 第76-77页 |
| 第4章 对延迟不敏感的分布式异步优化算法 | 第77-103页 |
| 4.1 引言 | 第77-79页 |
| 4.2 对延迟梯度进行补偿 | 第79-84页 |
| 4.3 带有延迟补偿的异步随机优化算法-以SGD为例 | 第84-101页 |
| 4.4 本章总结 | 第101-103页 |
| 第5章 基于最优量化误差的分布式梯度置化法 | 第103-121页 |
| 5.1 引言 | 第103-104页 |
| 5.2 基于量化梯度的分布式随机优化算法-以同步SGD为例 | 第104-105页 |
| 5.3 无偏最优梯度量化算法 | 第105-110页 |
| 5.4 有偏最优梯度量化算法 | 第110-115页 |
| 5.5 实验分析 | 第115-119页 |
| 5.6 本章总结 | 第119-121页 |
| 第6章 总结与展望 | 第121-125页 |
| 6.1 总结 | 第121-122页 |
| 6.2 展望 | 第122-125页 |
| 参考文献 | 第125-135页 |
| 附录A 博士期间其他工作：基于梯度的自监督生成学习方法优化 | 第135-145页 |
| 致谢 | 第145-147页 |
| 在读期间发表的学术论文与取得的研究成果 | 第147页 |
