| 中文摘要 | 第1-8页 |
| 英文摘要 | 第8-11页 |
| 第一章 绪论 | 第11-27页 |
| §1．1 本文的研究背景概述 | 第11-13页 |
| §1．2 增强学习理论与应用综述 | 第13-21页 |
| 1．2．1 增强学习研究的相关学科背景 | 第13-15页 |
| 1．2．2 增强学习算法的研究进展 | 第15-17页 |
| 1．2．3 增强学习的泛化方法研究概况 | 第17-19页 |
| 1．2．4 增强学习的理论研究进展 | 第19页 |
| 1．2．5 增强学习应用的研究进展 | 第19-21页 |
| 1．2．6 国内研究现状和进一步有待解决的问题 | 第21页 |
| §1．3 移动机器人导航控制方法的研究现状和发展趋势 | 第21-25页 |
| 1．3．1 移动机器人体系结构的研究进展 | 第22-23页 |
| 1．3．2 移动机器人反应式导航方法的研究概况 | 第23-24页 |
| 1．3．3 移动机器人路径跟踪控制的研究概况 | 第24-25页 |
| §1．4 本文的主要研究内容和成果 | 第25-27页 |
| 第二章 时域差值学习理论与算法 | 第27-46页 |
| §2．1 Markov链与多步学习预测问题 | 第28-31页 |
| 2．1．1 Markov链的基础理论 | 第28-30页 |
| 2．1．2 基于Markov链的多步学习预测问题 | 第30-31页 |
| §2．2 TD（λ）学习算法 | 第31-35页 |
| 2．2．1 表格型TD（λ）学习算法 | 第31-33页 |
| 2．2．2 基于值函数逼近的TD（λ）学习算法 | 第33-35页 |
| §2．3 多步递推最小二乘TD学习算法及其收敛性理论 | 第35-40页 |
| 2．3．1 多步递推最小二乘TD学习算法 | 第35-38页 |
| 2．3．2 RLS-TD（λ）学习算法的一致收敛性分析 | 第38-40页 |
| §2．4 多步学习预测的仿真研究 | 第40-44页 |
| 2．4．1 HopWorld问题学习预测仿真 | 第41-43页 |
| 2．4．2 连续状态随机行走问题的学习预测仿真 | 第43-44页 |
| §2．5 小结 | 第44-46页 |
| 第三章 求解马氏决策问题的梯度增强学习算法 | 第46-83页 |
| §3．1 Markov决策过程与表格型增强学习算法 | 第47-52页 |
| 3．1．1 Markov决策过程及其最优值函数 | 第47-49页 |
| 3．1．2 表格型增强学习算法及其收敛性理论 | 第49-52页 |
| §3．2 基于CMAC的直接梯度增强学习算法 | 第52-63页 |
| 3．2．1 CMAC的结构 | 第52-53页 |
| 3．2．2 基于CMAC的直接梯度增强学习算法 | 第53-55页 |
| 3．2．3 两种改进的CMAC结构及其应用实例 | 第55-63页 |
| §3．3 基于值函数逼近的残差梯度增强学习算法 | 第63-75页 |
| 3．3．1 多层前馈神经网络函数逼近器与已有的梯度增强学习算法 | 第64-65页 |
| 3．3．2 非平稳策略残差梯度（RGNP）增强学习算法 | 第65-67页 |
| 3．3．3 RGNP算法的收敛性与近似最优策略性能的理论分析 | 第67页 |
| 3．3．4 Mountain-Car问题的仿真研究 | 第67-71页 |
| 3．3．5 Acrobot学习控制的仿真研究 | 第71-75页 |
| §3．4 求解连续行为空间Markov决策问题的快速AHC学习算法 | 第75-82页 |
| 3．4．1 AHC学习算法与执行器-评判器学习控制结构 | 第75-77页 |
| 3．4．2 快速AHC学习算法 | 第77-78页 |
| 3．4．3 连续控制量条件下倒立摆学习控制仿真 | 第78-81页 |
| 3．4．4 连续控制量条件下Acrobot系统的学习控制 | 第81-82页 |
| §3．5 小结 | 第82-83页 |
| 第四章 求解马氏决策问题的进化梯度混合学习算法 | 第83-102页 |
| §4．1 进化计算的基本原理和方法 | 第84-88页 |
| 4．1．1 进化计算的基本原理和算法框架 | 第84-85页 |
| 4．1．2 进化算法的基本要素 | 第85-87页 |
| 4．1．3 进化算法的控制参数和性能评估 | 第87-88页 |
| §4．2 求解离散行为空间MDP的进化-梯度混合学习算法（HERG） | 第88-98页 |
| 4．2．1 HERG算法的设计要点 | 第89-91页 |
| 4．2．2 HERG算法的流程 | 第91-92页 |
| 4．2．3 HERG算法的应用实例———Mountain-Car学习控制问题 | 第92-95页 |
| 4．2．4 离散控制量条件下Acrobot系统的进化增强学习仿真 | 第95-98页 |
| §4．3 求解连续行为空间MDP的进化-梯度混合学习算法（EAHC） | 第98-101页 |
| 4．3．1 进化AHC算法（EAHC） | 第98-99页 |
| 4．3．2 连续控制量条件下Acrobot系统的进化增强学习仿真 | 第99-101页 |
| §4．4 小结 | 第101-102页 |
| 第五章 增强学习在移动机器人路径跟踪控制中的应用 | 第102-116页 |
| §5．1 基于增强学习的自适应PID控制器 | 第103-105页 |
| §5．2 自动驾驶汽车的侧向增强学习控制 | 第105-110页 |
| 5．2．1 自动驾驶汽车的动力学模型 | 第106页 |
| 5．2．2 用于自动驾驶汽车侧向控制的增强学习PID控制器设计 | 第106-107页 |
| 5．2．3 自动驾驶汽车直线路径跟踪仿真 | 第107-110页 |
| §5．3 基于增强学习的室内移动机器人路径跟踪控制仿真与实验研究 | 第110-115页 |
| 5．3．1 一类室内移动机器人系统的运动学和动力学模型 | 第110-111页 |
| 5．3．2 增强学习路径跟踪控制器设计 | 第111页 |
| 5．3．3 参考路径为直线的仿真研究 | 第111-112页 |
| 5．3．4 参考路径为圆弧时的仿真研究 | 第112-113页 |
| 5．3．5 CIT-AVT-VI移动机器人实时在线学习路径跟踪实验 | 第113-115页 |
| §5．4 小结 | 第115-116页 |
| 第六章 基于增强学习的移动机器人反应式导航方法 | 第116-131页 |
| §6．1 基于分层学习的移动机器人体系结构 | 第117-120页 |
| §6．2 基于增强学习的移动机器人反应式导航方法 | 第120-123页 |
| 6．2．1 未知环境中移动机器人导航混合式体系结构的具体设计 | 第120-122页 |
| 6．2．2 基于增强学习的反应式导航算法 | 第122-123页 |
| §6．3 移动机器人增强学习导航的仿真和实验研究 | 第123-130页 |
| 6．3．1 CIT-AVT-VI移动机器人的传感器与仿真实验环境 | 第123-125页 |
| 6．3．2 增强学习导航的仿真研究 | 第125-127页 |
| 6．3．3 CIT-AVT-VI移动机器人实时学习导航控制实验 | 第127-130页 |
| §6．4 小结 | 第130-131页 |
| 第七章 结论与展望 | 第131-134页 |
| 致谢 | 第134-135页 |
| 参考文献 | 第135-145页 |
| 附录： 作者在攻读博士学位期间完成的学术著作与论文以及参加的科研项目 | 第145-146页 |
