| 摘要 | 第1-3页 |
| ABSTRACT | 第3-6页 |
| 第一章 绪论 | 第6-12页 |
| ·研究背景 | 第6-7页 |
| ·智能AGENT | 第7-8页 |
| ·强化学习的研究现状 | 第8-9页 |
| ·ROBOCUP 及其学习问题 | 第9-10页 |
| ·主要研究工作 | 第10-12页 |
| 第二章 ROBOCUP 环境模型及智能体的层结构设计 | 第12-20页 |
| ·ROBOCUP 仿真比赛环境 | 第12-13页 |
| ·SOCCERSERVER 仿真模型 | 第13-17页 |
| ·智能体的分层结构 | 第17页 |
| ·决策框架的分层结构 | 第17-20页 |
| 第三章 强化学习理论及其算法 | 第20-27页 |
| ·强化学习理论基础 | 第20-22页 |
| ·Q 学习 | 第22-23页 |
| ·遗忘轨迹（ELIGIBILITY） | 第23-25页 |
| ·分层强化学习 | 第25-27页 |
| 第四章 改进的CMAC－Q 学习算法 | 第27-36页 |
| ·改进的CMAC 算法 | 第27-30页 |
| ·改进的CMAC-Q 算法 | 第30-35页 |
| ·小结 | 第35-36页 |
| 第五章 内在激励学习算法及其应用 | 第36-57页 |
| ·内在激励强化学习 | 第36-44页 |
| ·内在激励学习在ROBOCUP 仿真中的应用 | 第44-57页 |
| 第六章 结论及展望 | 第57-59页 |
| ·比赛成绩 | 第57页 |
| ·进一步的工作 | 第57-59页 |
| 参考文献 | 第59-63页 |
| 致谢 | 第63-64页 |
| 攻读硕士学位期间发表的论文清单 | 第64页 |
| 机器人比赛获奖情况 | 第64页 |