| 摘要 | 第4-5页 |
| ABSTRACT | 第5页 |
| 1 全连接神经网络 | 第8-14页 |
| 1.1 神经网络的基本结构 | 第8-10页 |
| 1.2 神经网络的逼近理论 | 第10-14页 |
| 2 非约束问题优化算法及其收敛速度 | 第14-22页 |
| 2.1 非约束问题优化算法 | 第16-18页 |
| 2.1.1 最速梯度下降法 | 第16页 |
| 2.1.2 Newton方法 | 第16-17页 |
| 2.1.3 共轭梯度算法与SESOP算法 | 第17-18页 |
| 2.2 算法的收敛速度 | 第18-22页 |
| 2.2.1 最速梯度算法 | 第18-19页 |
| 2.2.2 Newton算法 | 第19-21页 |
| 2.2.3 共轭梯度算法与SESOP算法 | 第21-22页 |
| 3 神经网络参数的二阶求解算法 | 第22-32页 |
| 3.1 二阶BP反向传播公式 | 第22-24页 |
| 3.2 Newton算法 | 第24-26页 |
| 3.3 改进的Damped-Gauss-Newton算法 | 第26-28页 |
| 3.4 SESOP算法 | 第28-32页 |
| 4 MNIST数据集实验 | 第32-36页 |
| 5 研究展望 | 第36-38页 |
| 参考文献 | 第38-40页 |
| 附录A 附录 | 第40-44页 |
| 致谢 | 第44-45页 |