| 第一章 绪论 | 第1-16页 |
| 1．1 引言 | 第11-12页 |
| 1．2 强化学习的历史 | 第12-13页 |
| 1．3 强化学习的现状 | 第13-15页 |
| 1．4 本文的组织 | 第15-16页 |
| 第二章 强化学习模型及主要算法 | 第16-31页 |
| 2．1 概述 | 第16-17页 |
| 2．2 马尔可夫决策过程(MDP)模型 | 第17-19页 |
| 2．3 动态规划值迭代 | 第19-21页 |
| 2．3．1 值迭代 | 第19-20页 |
| 2．3．2 策略迭代 | 第20-21页 |
| 2．4 蒙特卡洛算法(Monte Carlo) | 第21-23页 |
| 2．5 即时差分学习 TD(Temporal Differenee Learning) | 第23-27页 |
| 2．5．1 即时差分(Temporal Differenee，TD) | 第23-24页 |
| 2．5．2 探索与利用(Exploration versus Exploitation) | 第24页 |
| 2．5．3 行动-评价器(Actor-Critic) | 第24-26页 |
| 2．5．4 Sarsa算法 | 第26页 |
| 2．5．5 Q学习 | 第26-27页 |
| 2．6 多步强化学习 | 第27-31页 |
| 2．6．1 TD(λ) | 第27-28页 |
| 2．6．2 Sarsa(λ) | 第28-29页 |
| 2．6．3 Q(λ) | 第29-31页 |
| 第三章 神经网络和强化学习 | 第31-44页 |
| 3．1 引言 | 第31-32页 |
| 3．2 值函数近似 | 第32-37页 |
| 3．2．1 强化学习和近似器 | 第32-33页 |
| 3．2．2 线性值函数近似 | 第33-37页 |
| 3．3 神经网络和强化学习 | 第37-43页 |
| 3．3．1 MLP和 RL | 第37-38页 |
| 3．3．2 RBF神经网络 | 第38-40页 |
| 3．3．3 基于 RBF网络的强化学习算法 | 第40-41页 |
| 3．3．4 实验 | 第41-43页 |
| 3．4 小结 | 第43-44页 |
| 第四章 基于实例学习的强化学习算法 | 第44-51页 |
| 4．1 引言 | 第44页 |
| 4．2 实例学习 | 第44-46页 |
| 4．3 基于实例的强化学习算法 | 第46-50页 |
| 4．3．1 值函数预测 | 第46页 |
| 4．3．2 值函数更新(RL部分) | 第46-47页 |
| 4．3．3 算法的分析 | 第47-49页 |
| 4．3．4 实验 | 第49-50页 |
| 4．4 小结 | 第50-51页 |
| 第五章 总结和展望 | 第51-53页 |
| 5．1 总结 | 第51页 |
| 5．2 未来工作 | 第51-53页 |
| 参考文献 | 第53-57页 |
| 在读硕期间发表的学术论文及参与的项目 | 第57页 |
