| 摘要 | 第3-5页 |
| abstract | 第5-7页 |
| 第1章 绪论 | 第12-36页 |
| 1.1 研究背景与意义 | 第12-15页 |
| 1.1.1 强化学习研究溯源 | 第13-14页 |
| 1.1.2 强化学习应用领域 | 第14-15页 |
| 1.2 强化学习基础 | 第15-17页 |
| 1.2.1 MDP建模 | 第16页 |
| 1.2.2 决策优化目标函数 | 第16-17页 |
| 1.2.3 最优策略 | 第17页 |
| 1.3 经典强化学习 | 第17-24页 |
| 1.3.1 基于模型的经典强化学习 | 第18-20页 |
| 1.3.2 无模型经典强化学习 | 第20-23页 |
| 1.3.3 强化学习研究方向 | 第23-24页 |
| 1.4 值函数逼近强化学习研究进展 | 第24-34页 |
| 1.4.1 主要研究思路 | 第25-27页 |
| 1.4.2 线性值函数逼近强化学习 | 第27-29页 |
| 1.4.3 非线性值函数逼近强化学习 | 第29-34页 |
| 1.5 主要研究工作及论文安排 | 第34-36页 |
| 第2章 非参数化值函数逼近强化学习中的样本采集和基函数构建算法 | 第36-47页 |
| 2.1 非参数化值函数逼近强化学习 | 第36-37页 |
| 2.2 二级随机采样算法 | 第37-41页 |
| 2.2.1 一级采样 | 第39-40页 |
| 2.2.2 总体采样 | 第40-41页 |
| 2.3 trial-and-error过程 | 第41-43页 |
| 2.4 初始状态基函数构建算法 | 第43-46页 |
| 2.4.1 确定核心状态基函数 | 第43-44页 |
| 2.4.2 生成初始状态基函数 | 第44-46页 |
| 2.5 边界状态基函数构建算法 | 第46页 |
| 2.6 本章小结 | 第46-47页 |
| 第3章 基于CMAC的非参数化近似策略迭代强化学习 | 第47-64页 |
| 3.1 NPAPIRL-CMAC算法的网络结构 | 第47-51页 |
| 3.1.1 Q值函数逼近器 | 第48-51页 |
| 3.1.2 动作选择器 | 第51页 |
| 3.2 Q值函数逼近器构建过程 | 第51-53页 |
| 3.2.1 获取泛化参数 | 第52页 |
| 3.2.2 构建量化编码结构 | 第52-53页 |
| 3.2.3 确定量化编码结构的平均学习率 | 第53页 |
| 3.3 Q值函数逼近器自适应调整过程 | 第53-55页 |
| 3.4 NPAPIRL-CMAC算法步骤 | 第55-57页 |
| 3.4.1 算法网络结构构建阶段 | 第55-56页 |
| 3.4.2 智能体自主学习阶段 | 第56-57页 |
| 3.5 一级倒立摆平衡控制仿真实验 | 第57-63页 |
| 3.5.1 实验描述 | 第57-58页 |
| 3.5.2 实验分析 | 第58-63页 |
| 3.6 本章小结 | 第63-64页 |
| 第4章 基于状态聚类的非参数化近似广义策略迭代强化学习 | 第64-78页 |
| 4.1 NPAGPIRL-SC算法的网络结构 | 第64-66页 |
| 4.1.1 Q值函数逼近器 | 第65-66页 |
| 4.1.2 动作选择器 | 第66页 |
| 4.2 Q值函数逼近器构建过程 | 第66-67页 |
| 4.3 Q值函数逼近器自适应调整过程 | 第67-68页 |
| 4.4 NPAGPIRL-SC算法步骤 | 第68-70页 |
| 4.4.1 算法网络结构构建阶段 | 第69页 |
| 4.4.2 智能体自主学习阶段 | 第69-70页 |
| 4.5 一级倒立摆平衡控制仿真实验 | 第70-77页 |
| 4.5.1 NPAGPIRL-SC在不同离散动作集合下的实验结果 | 第70-72页 |
| 4.5.2 NPAGPIRL-SC在ε不同取值下的实验结果 | 第72-73页 |
| 4.5.3 NPAGPIRL-SC算法下倒立摆的典型学习过程 | 第73-75页 |
| 4.5.4 与典型近似策略迭代强化学习算法的对比 | 第75-77页 |
| 4.6 本章小结 | 第77-78页 |
| 第5章 非参数化近似策略迭代并行强化学习 | 第78-88页 |
| 5.1 并行强化学习 | 第78-79页 |
| 5.2 NPAPIRL-P算法的网络结构 | 第79-80页 |
| 5.3 NPAPIRL-P算法的学习步骤 | 第80-82页 |
| 5.4 一级倒立摆平衡控制仿真实验 | 第82-87页 |
| 5.4.1 评价指标 | 第82-83页 |
| 5.4.2 实验结果分析 | 第83-87页 |
| 5.5 本章小结 | 第87-88页 |
| 第6章 基于Dyna框架的非参数化近似策略迭代强化学习 | 第88-105页 |
| 6.1 NPAPIRL-Dyna算法的网络结构 | 第88-90页 |
| 6.2 环境估计模型构建过程 | 第90-93页 |
| 6.2.1 环境估计模型 | 第90-91页 |
| 6.2.2 状态转移模型B的构建过程 | 第91-92页 |
| 6.2.3 边界状态转移模型B′的构建过程 | 第92-93页 |
| 6.3 算法自适应调整过程 | 第93-95页 |
| 6.3.1 新增结构 | 第93-94页 |
| 6.3.2 合并结构 | 第94-95页 |
| 6.3.3 调整参数 | 第95页 |
| 6.4 基于环境估计模型的规划过程 | 第95-98页 |
| 6.4.1 Dyna框架 | 第95-96页 |
| 6.4.2 NPAPIRL-Dyna算法的规划过程 | 第96-98页 |
| 6.5 NPAPIRL-Dyna算法步骤 | 第98-100页 |
| 6.5.1 算法网络结构构建阶段 | 第98-99页 |
| 6.5.2 智能体自主学习阶段 | 第99-100页 |
| 6.6 一级倒立摆平衡控制仿真实验 | 第100-104页 |
| 6.6.1 对实验结果的分析 | 第100-102页 |
| 6.6.2 对规划过程的分析 | 第102-104页 |
| 6.7 本章小结 | 第104-105页 |
| 第7章 结论与展望 | 第105-107页 |
| 7.1 结论 | 第105-106页 |
| 7.2 展望 | 第106-107页 |
| 致谢 | 第107-108页 |
| 参考文献 | 第108-115页 |
| 攻读学位期间的研究成果 | 第115页 |
