| ABSTRACT | 第6-7页 |
| 摘要 | 第8-17页 |
| 1 Introduction | 第17-31页 |
| 1.1 History of Artificial Neural Networks | 第17-18页 |
| 1.2 Components of Artificial Neural Networks | 第18页 |
| 1.3 Artificial Neurons | 第18-20页 |
| 1.4 Components of an Artificial Neuron | 第20-22页 |
| 1.4.1 Weights | 第20页 |
| 1.4.2 Activation Functions | 第20-22页 |
| 1.4.3 Bias | 第22页 |
| 1.4.4 Training of Neural Network | 第22页 |
| 1.5 A Model of High-Order Neural Networks | 第22-27页 |
| 1.5.1 Sigma-Pi Neural Networks | 第23-24页 |
| 1.5.2 Pi-Sigma Neural Networks | 第24-25页 |
| 1.5.3 Sigma-Pi-Sigma Neural Networks | 第25-27页 |
| 1.6 Regularization Method | 第27-28页 |
| 1.7 Objectives and Scope of the Study | 第28-31页 |
| 2 Convergence of Online Gradient Method for Pi-Sigma Neural Networks with Inner-Penalty Terms | 第31-41页 |
| 2.1 Pi-Sigma Neural Network with Inner-Penalty Algorithm | 第31-32页 |
| 2.2 Preliminary Lemmas | 第32-37页 |
| 2.3 Convergence Theorems | 第37-41页 |
| 3 Batch Gradient Method for Training of Pi-Sigma Neural Network with Penalty | 第41-49页 |
| 3.1 Batch Gradient Method with Penalty Term | 第41-42页 |
| 3.2 Main Results | 第42页 |
| 3.3 Simulation Results | 第42-44页 |
| 3.3.1 Parity Problem | 第42-43页 |
| 3.3.2 Function Regression Problem | 第43-44页 |
| 3.4 Proofs | 第44-49页 |
| 4 A Modified Higher-Order Feedforward Neural Network with Smoothing Regularization | 第49-61页 |
| 4.1 Offline Gradient Method with Smoothing L_(1/2) Regularization | 第49-51页 |
| 4.1.1 Error Function with L_(1/2) Regularization | 第49-50页 |
| 4.1.2 Error Function with Smoothing L_(1/2) Regularization | 第50-51页 |
| 4.2 Main Results | 第51-52页 |
| 4.3 Numerical Experiments | 第52-56页 |
| 4.3.1 Classification Problems | 第52-54页 |
| 4.3.2 Approximation of Gabor Function | 第54-55页 |
| 4.3.3 Approximation of Mayas Function | 第55-56页 |
| 4.4 Proofs | 第56-61页 |
| 5 Choice of Multinomials for Sigma-Pi-Sigma Neural Networks | 第61-79页 |
| 5.1 Introduction | 第61-62页 |
| 5.2 Description of the Proposed Method | 第62-69页 |
| 5.2.1 Network Structure | 第62-65页 |
| 5.2.2 Error Function with L_(1/2) Regularization | 第65-67页 |
| 5.2.3 Error Function with Smoothing L_(1/2) Regularization | 第67-69页 |
| 5.3 Algorithm | 第69-70页 |
| 5.4 Numerical Experiments | 第70-79页 |
| 5.4.1 Mayas' Function Approximate | 第70-71页 |
| 5.4.2 Gabor Function Approximate | 第71-72页 |
| 5.4.3 Sonar Data Classification | 第72页 |
| 5.4.4 Pima Indians Diabetes Data Classification | 第72-79页 |
| 6 Summary and Further Prospect | 第79-83页 |
| 6.1 Conclusion | 第79-80页 |
| 6.2 Innovation Points | 第80页 |
| 6.3 Further Studies | 第80-83页 |
| References | 第83-95页 |
| Published Academic Articles during PhD period | 第95-97页 |
| Acknowledgements | 第97-98页 |
| Author Introduction | 第98页 |
