| 摘要 | 第4-5页 |
| ABSTRACT | 第5-6页 |
| 第1章 绪论 | 第9-18页 |
| 1.1 课题研究背景和意义 | 第9-13页 |
| 1.1.1 报酬函数的选取与计算 | 第10-12页 |
| 1.1.2 逆向强化学习的环境建模 | 第12-13页 |
| 1.2 国内外研究现状 | 第13-16页 |
| 1.2.1 马氏环境下的逆向强化学习研究 | 第14-16页 |
| 1.2.2 非马氏环境下的逆向强化学习研究 | 第16页 |
| 1.2.3 研究综述与分析 | 第16页 |
| 1.3 主要研究内容与结构框架 | 第16-18页 |
| 第2章 基础知识及仿真实验平台 | 第18-27页 |
| 2.1 基础知识 | 第18-23页 |
| 2.1.1 离散时间马尔可夫决策过程 | 第18-20页 |
| 2.1.2 半马尔可夫决策过程 | 第20-22页 |
| 2.1.3 凸优化问题及求解 | 第22-23页 |
| 2.2 仿真平台介绍 | 第23-26页 |
| 2.2.1 带通道的方格迷宫仿真平台 | 第23-25页 |
| 2.2.2 简易无人车仿真平台 | 第25-26页 |
| 2.3 本章小结 | 第26-27页 |
| 第3章 基于SMDP性能灵敏度的逆向强化学习 | 第27-37页 |
| 3.1 SMDP策略性能分析 | 第27-28页 |
| 3.1.1 基于无穷小算子的性能差公式 | 第28页 |
| 3.1.2 基于嵌入Markov链的性能差公式 | 第28页 |
| 3.2 基于SMDP性能灵敏度的逆强化学习算法 | 第28-31页 |
| 3.2.1 基于无穷小算子的逆向强化学习 | 第29-30页 |
| 3.2.2 基于嵌入Markov链的逆向强化学习 | 第30-31页 |
| 3.2.3 基于SMDP性能灵敏度的逆强化学习算法 | 第31页 |
| 3.3 基于带通道方格迷宫的仿真验证 | 第31-36页 |
| 3.4 本章小结 | 第36-37页 |
| 第4章 基于特征线性组合的逆向强化学习算法研究 | 第37-58页 |
| 4.1 SMDP学徒逆向强化学习 | 第38-45页 |
| 4.1.1 学徒学习 | 第38-39页 |
| 4.1.2 SMDP学徒逆向强化学习算法 | 第39页 |
| 4.1.3 基于带通道方格迷宫的仿真验证 | 第39-43页 |
| 4.1.4 简易无人车平台仿真验证 | 第43-45页 |
| 4.2 基于SMDP策略梯度的逆向强化学习 | 第45-49页 |
| 4.2.1 损失函数与自然梯度 | 第45-47页 |
| 4.2.2 结合策略自然梯度的逆向强化学习算法 | 第47页 |
| 4.2.3 基于带通道方格迷宫的仿真验证 | 第47-49页 |
| 4.3 基于最大熵理论的SMDP逆向强化学习 | 第49-57页 |
| 4.3.1 基于轨迹的最大熵模型 | 第49-51页 |
| 4.3.2 基于最大熵的逆向强化学习算法 | 第51-52页 |
| 4.3.3 基于带通道迷宫的仿真验证 | 第52-54页 |
| 4.3.4 简易无人车平台仿真验证 | 第54-57页 |
| 4.4 本章小结 | 第57-58页 |
| 结论 | 第58-59页 |
| 参考文献 | 第59-63页 |
| 攻读硕士学位期间发表的论文及其它成果 | 第63-65页 |
| 致谢 | 第65页 |