基于改进策略梯度方法的游戏智能研究
| 摘要 | 第5-6页 |
| Abstract | 第6页 |
| 第一章 绪论 | 第9-13页 |
| 1.1 研究背景及意义 | 第9页 |
| 1.2 国内外研究进展 | 第9-11页 |
| 1.2.1 深度强化学习起源与发展 | 第9-10页 |
| 1.2.2 深度强化学习在游戏中的进展 | 第10-11页 |
| 1.2.3 深度强化学习在商业中的应用 | 第11页 |
| 1.3 本论文主要研究工作 | 第11-13页 |
| 第二章 有模型学习 | 第13-24页 |
| 2.1 强化学习框架 | 第13-16页 |
| 2.1.1 交互模型 | 第13-14页 |
| 2.1.2 马尔可夫决策过程 | 第14-16页 |
| 2.2 探索-利用窘境 | 第16-19页 |
| 2.2.1 ε-贪心法 | 第17-18页 |
| 2.2.2 Softmax法 | 第18-19页 |
| 2.3 动态规划求解 | 第19-23页 |
| 2.3.1 Bellman等式 | 第19-21页 |
| 2.3.2 策略改进 | 第21-22页 |
| 2.3.3 策略迭代与值迭代 | 第22-23页 |
| 2.4 本章小结 | 第23-24页 |
| 第三章 免模型学习 | 第24-32页 |
| 3.1 蒙特卡罗方法 | 第24-26页 |
| 3.1.1 同策略学习 | 第24-25页 |
| 3.1.2 异策略学习 | 第25-26页 |
| 3.2 时序差分学习 | 第26-27页 |
| 3.3 DQN算法 | 第27-31页 |
| 3.3.1 Q-Learning算法 | 第27-28页 |
| 3.3.2 值函数近似 | 第28-30页 |
| 3.3.3 神经网络化 | 第30-31页 |
| 3.4 本章小结 | 第31-32页 |
| 第四章 Reinforce算法及其改进 | 第32-51页 |
| 4.1 策略梯度方法 | 第32-35页 |
| 4.1.1 利益函数 | 第32-33页 |
| 4.1.2 Reinforce算法 | 第33-35页 |
| 4.2 Reinforce算法的缺陷与改进 | 第35-40页 |
| 4.2.1 熵正则化 | 第35-36页 |
| 4.2.2 经验池 | 第36-38页 |
| 4.2.3 2ER-Reinforce算法 | 第38-40页 |
| 4.3 实验与分析 | 第40-50页 |
| 4.3.1 实验环境 | 第40-41页 |
| 4.3.2 实验设计 | 第41-42页 |
| 4.3.3 实验结果 | 第42-49页 |
| 4.3.4 实验思考 | 第49-50页 |
| 4.4 本章小结 | 第50-51页 |
| 总结与展望 | 第51-52页 |
| 参考文献 | 第52-55页 |
| 攻读硕士学位期间取得的研究成果 | 第55-56页 |
| 致谢 | 第56-57页 |
| 附件 | 第57页 |
