| 第一章 绪论 | 第1-23页 |
| 1．1 引言 | 第13页 |
| 1．2 智能 Agent | 第13-16页 |
| 1．2．1 Agent定义 | 第13-14页 |
| 1．2．2 Agent属性 | 第14-15页 |
| 1．2．3 Agent结构分类 | 第15-16页 |
| 1．3 多 Agent系统及其研究内容 | 第16-18页 |
| 1．4 RoboCuP的研究概况 | 第18-22页 |
| 1．4．1 RoboCuP的起源 | 第18页 |
| 1．4．2 RoboCuP的研究意义 | 第18-19页 |
| 1．4．3 RoboCuP仿真组比赛 | 第19-20页 |
| 1．4．4 国内外研究现状 | 第20-22页 |
| 1．5 本文组织 | 第22-23页 |
| 第二章 Q学习及相关算法 | 第23-37页 |
| 2．1 强化学习 | 第23-27页 |
| 2．1．1 强化学习原理 | 第23-25页 |
| 2．1．2 MDP模型 | 第25-26页 |
| 2．1．3 强化学习中的几个关键概念 | 第26-27页 |
| 2．2 Q学习 | 第27-29页 |
| 2．2．1 Q学习原理 | 第28页 |
| 2．2．2 Q学习的基本算法 | 第28-29页 |
| 2．3 基于前向神经网络的Q学习 | 第29-32页 |
| 2．3．1 前向神经网络的学习 | 第31页 |
| 2．3．2 基于前向神经网络的Q学习算法 | 第31-32页 |
| 2．4 基于小脑关节模型(CMAC)的 Q学习 | 第32-36页 |
| 2．4．1 CMAC的基本结构和原理 | 第32-33页 |
| 2．4．2 CMAC网络的学习算法 | 第33-34页 |
| 2．4．3 多维 CMAC网络的叠加处理法 | 第34-35页 |
| 2．4．4 基于 CMAC的Q学习算法 | 第35-36页 |
| 2．5 本章小结 | 第36-37页 |
| 第三章 Agent决策框架研究 | 第37-47页 |
| 3．1 Agent层结构设计 | 第37-39页 |
| 3．1．1 Agent的结构设计需求 | 第37-38页 |
| 3．1．2 Agent层结构设计框架 | 第38-39页 |
| 3．2 基于分层学习的Agent决策框架 | 第39-41页 |
| 3．2．1 决策框架的提出 | 第39-40页 |
| 3．2．2 决策框架的结构 | 第40-41页 |
| 3．4 自底向上的学习过程 | 第41-45页 |
| 3．4．1 基本技术的学习 | 第42-44页 |
| 3．4．2 个体策略的学习 | 第44-45页 |
| 3．4．3 球队策略的学习 | 第45页 |
| 3．5 自顶向下的决策过程 | 第45页 |
| 3．6 相关问题讨论 | 第45-46页 |
| 3．7 本章小结 | 第46-47页 |
| 第四章 Agent个体技术的 Q学习研究 | 第47-57页 |
| 4．1 踢球(Kick)的Q学习 | 第47-52页 |
| 4．1．1 问题描述 | 第47-48页 |
| 4．1．2 Kick的Q学习实现方法 | 第48-51页 |
| 4．1．3 测试与评价 | 第51-52页 |
| 4．2 带球(Dribble)的Q学习 | 第52-56页 |
| 4．2．1 问题描述 | 第52-53页 |
| 4．2．2 应用基于 CMAC的Q学习解决带球问题 | 第53-55页 |
| 4．2．3 测试与评价 | 第55-56页 |
| 4．3 本章小结 | 第56-57页 |
| 第五章 Agent团队协作的 Q学习研究 | 第57-69页 |
| 5．1 基于 Agent团队的强化学习 | 第57-59页 |
| 5．2 传球决策的 Q学习 | 第59-63页 |
| 5．2．1 问题描述 | 第59-60页 |
| 5．2．2 传球决策的Q学习模型 | 第60-62页 |
| 5．2．3 测试与评价 | 第62-63页 |
| 5．3 2 vs．1问题的Q学习 | 第63-68页 |
| 5．3．1 问题描述 | 第63-64页 |
| 5．3．2 vs．1训练的Q学习算法描述 | 第64-67页 |
| 5．3．3 测试与评价 | 第67-68页 |
| 5．4 本章小结 | 第68-69页 |
| 第六章 结束语 | 第69-70页 |
| 6．1 本文工作总结 | 第69页 |
| 6．2 下一步的工作 | 第69-70页 |
| 参考文献 | 第70-74页 |
| 研究生期间主要科研工作及成果 | 第74-75页 |
| 附录 | 第75-77页 |