| 摘要 | 第4-5页 |
| ABSTRACT | 第5-6页 |
| 第一章 绪论 | 第7-11页 |
| 1.1 研究背景 | 第7-8页 |
| 1.2 研究目的及意义 | 第8页 |
| 1.3 国内外研究现状 | 第8-10页 |
| 1.4 内容结构安排 | 第10-11页 |
| 第二章 预备知识 | 第11-16页 |
| 2.1 大规模机器学习问题的基本模型 | 第11-12页 |
| 2.2 相关概念 | 第12-13页 |
| 2.3 基本方法简述 | 第13-16页 |
| 2.3.1 批梯度与随机梯度下降法 | 第13-14页 |
| 2.3.2 随机牛顿法 | 第14-16页 |
| 第三章 光滑经验损失问题的优化方法 | 第16-28页 |
| 3.1 随机梯度法的降噪方法 | 第16-20页 |
| 3.1.1 SVRG方法的基本思想 | 第17页 |
| 3.1.2 随机受控的随机梯度(SCSG)方法的导出 | 第17-20页 |
| 3.2 修正的随机L-BFGS方法 | 第20-24页 |
| 3.2.1 拟牛顿法的基本原理 | 第20页 |
| 3.2.2 随机L-BFGS方法的导出 | 第20-22页 |
| 3.2.3 随机L-BFGS方法的收敛性分析 | 第22-24页 |
| 3.3 数值分析及分析 | 第24-28页 |
| 3.3.1 SCSG方法的数值实验比较与分析 | 第24-26页 |
| 3.3.2 SL-BFGS方法的数值实验比较与分析 | 第26-28页 |
| 第四章 结构风险最小化问题的优化方法 | 第28-45页 |
| 4.1 邻近随机L-BFGS方法 | 第28-35页 |
| 4.1.1 邻近随机L-BFGS算法的基本思想 | 第29-30页 |
| 4.1.2 邻近随机L-BFGS算法的收敛性分析 | 第30-34页 |
| 4.1.3 小结 | 第34-35页 |
| 4.2 随机次梯度镜面下降方法 | 第35-45页 |
| 4.2.1 镜面下降算法的基本原理 | 第35-36页 |
| 4.2.2 随机镜面下降算法的基本思想 | 第36-39页 |
| 4.2.3 算法的收敛性分析 | 第39-44页 |
| 4.2.4 小结 | 第44-45页 |
| 第五章 总结与展望 | 第45-47页 |
| 5.1 工作总结 | 第45页 |
| 5.2 展望 | 第45-47页 |
| 参考文献 | 第47-49页 |
| 致谢 | 第49-50页 |
| 附录 ：攻读硕士学位期间的研究成果 | 第50-51页 |