| 摘要 | 第1-6页 |
| ABSTRACT | 第6-11页 |
| 第一章 绪论 | 第11-16页 |
| ·机器人足球比赛的起源及发展 | 第11-13页 |
| ·FIRA 简介 | 第11-12页 |
| ·RoboCup 的发展 | 第12-13页 |
| ·足球机器人仿真的研究现状 | 第13-14页 |
| ·足球机器人研究的目的与意义 | 第14页 |
| ·本文研究的主要内容 | 第14-16页 |
| 第二章 MSRS 11vs11 足球机器人仿真比赛平台 | 第16-23页 |
| ·机器人足球系统简介 | 第16-18页 |
| ·机器人子系统 | 第17页 |
| ·视觉子系统 | 第17页 |
| ·决策子系统 | 第17-18页 |
| ·无线通讯子系统 | 第18页 |
| ·足球机器人仿真平台 | 第18-22页 |
| ·MSRS 仿真平台简介 | 第18-19页 |
| ·MSRS 仿真平台的结构 | 第19页 |
| ·MSRS 仿真平台模式 | 第19-21页 |
| ·比赛场地环境 | 第21-22页 |
| ·本章小结 | 第22-23页 |
| 第三章 强化学习 | 第23-33页 |
| ·强化学习的发展及研究现状 | 第23-24页 |
| ·强化学习的基本原理和模型 | 第24-28页 |
| ·基本原理 | 第25页 |
| ·强化学习模型 | 第25-27页 |
| ·马尔可夫决策过程（MDP） | 第27-28页 |
| ·强化学习的几种经典算法 | 第28-32页 |
| ·瞬时差分算法 TD（Temporal Difference Algorithm） | 第28-29页 |
| ·Q 学习算法 | 第29-30页 |
| ·SARSA 学习算法 | 第30-31页 |
| ·一种改进的 SARSA 学习算法 | 第31-32页 |
| ·强化学习的主要应用 | 第32页 |
| ·本章小结 | 第32-33页 |
| 第四章 基于强化学习的比赛策略的应用研究 | 第33-46页 |
| ·强化学习应用在单智能体的学习过程中 | 第33-38页 |
| ·仿真环境的离散化 | 第33-34页 |
| ·动作函数的设计 | 第34页 |
| ·Q 值的更新和动作选择的方式 | 第34-36页 |
| ·奖赏函数的设置 | 第36页 |
| ·仿真实验数据分析 | 第36-38页 |
| ·强化学习在 1VS1 对抗比赛中的应用 | 第38-40页 |
| ·仿真环境的离散化 | 第38-39页 |
| ·动作函数的设计 | 第39页 |
| ·奖赏函数的设计 | 第39-40页 |
| ·Q 值的更新和动作的选择 | 第40页 |
| ·仿真实验数据分析 | 第40页 |
| ·多智能体的学习 | 第40-45页 |
| ·任务描述 | 第41页 |
| ·智能体可以采取的动作 | 第41-42页 |
| ·状态变量的设置 | 第42-44页 |
| ·奖赏函数的设定 | 第44页 |
| ·仿真实验数据分析 | 第44-45页 |
| ·本章小结 | 第45-46页 |
| 第五章 结论与展望 | 第46-48页 |
| 参考文献 | 第48-53页 |
| 致谢 | 第53-54页 |
| 附录 A：（攻读硕士学位期间发表论文目录） | 第54-55页 |
| 附录 B：（攻读硕士学位期间获得证书） | 第55-57页 |
| 摘要 | 第57-60页 |
| Abstract | 第60-63页 |