| 前言 | 第1-17页 |
| 第一章 半马尔可夫决策过程概述 | 第17-24页 |
| 1．1 半马尔可夫决策过程 | 第17-21页 |
| 1．1．1 SMDP数学模型 | 第17-18页 |
| 1．1．2 SMDP等价无穷小生成子 | 第18-20页 |
| 1．1．3 优化目标 | 第20-21页 |
| 1．2 SMDP性能势以及Bellman最优性方程 | 第21-22页 |
| 1．2．1 SMDP性能势 | 第21页 |
| 1．2．2 SMDP基于性能势的最优性方程和最优性定理 | 第21-22页 |
| 1．3 SMDP α-一致化链 | 第22-24页 |
| 第二章 SMDP基于性能势TD(λ)学习的统一NDP优化 | 第24-38页 |
| 2．1 TD(λ)学习和神经元动态规划 | 第24-28页 |
| 2．1．1 TD(λ)学习 | 第24-27页 |
| 2．1．2 神经元动态规划 | 第27-28页 |
| 2．2 基于 TD(λ)的性能势学习以及参数学习公式 | 第28-30页 |
| 2．2．1 SMDP α-一致化链的性能势 | 第28-29页 |
| 2．2．2 基于TD(λ)的性能势学习 | 第29-30页 |
| 2．2．3 性能势参数学习公式 | 第30页 |
| 2．3 统一优化算法 | 第30-32页 |
| 2．4 SMDP性能势g_α~v的学习以及优化算法 | 第32-33页 |
| 2．5 数值例子以及实验结果 | 第33-38页 |
| 第三章 SMDP基于Q学习的统一性能优化 | 第38-48页 |
| 3．1 性能势的Q学习 | 第38-40页 |
| 3．1．1 Q学习 | 第38-39页 |
| 3．1．2 Q函数与性能势 | 第39-40页 |
| 3．2 Q函数的最优性方程以及统一优化算法 | 第40-41页 |
| 3．2．1 Q函数的最优性方程 | 第40页 |
| 3．2．2 优化算法 | 第40-41页 |
| 3．3 基于模拟退火思想的Q学习优化算法 | 第41-43页 |
| 3．3．1 模拟退火 | 第41-42页 |
| 3．3．2 改进的 Q学习优化算法 | 第42-43页 |
| 3．4 SMDP基于Q学习的优化算法 | 第43-44页 |
| 3．5 关于Q学习NDP优化的讨论 | 第44-45页 |
| 3．6 数值例子以及实验结果 | 第45-48页 |
| 第四章 平均准则下多链SMDP基于性能势的优化 | 第48-61页 |
| 4．1 多链SMDP模型 | 第48-49页 |
| 4．2 基于性能势的Bellman最优方程 | 第49-53页 |
| 4．2．1 多链SMDP性能势 | 第49-51页 |
| 4．2．2 基于性能势的Bellman最优性方程 | 第51-53页 |
| 4．3 基于性能势理论计算的策略迭代算法 | 第53-54页 |
| 4．4 基于性能势 TD学习的 NDP优化算法 | 第54-58页 |
| 4．4．1 性能势的 TD学习和平均代价估计 | 第54-56页 |
| 4．4．2 优化算法 | 第56-58页 |
| 4．5 数值实例以及实验结果 | 第58-61页 |
| 4．5．1 数值例子 | 第58页 |
| 4．5．2 相关优化结果 | 第58-61页 |
| 第五章 总结 | 第61-62页 |
| 参考文献 | 第62-66页 |
| 攻读硕士学位期间主要科研工作和成果 | 第66页 |
