| 摘要 | 第1-6页 |
| ABSTRACT | 第6-9页 |
| 第一章 绪论 | 第9-17页 |
| ·选题背景 | 第9页 |
| ·国内外研究现状 | 第9-15页 |
| ·SCATS 自适应系统 | 第11-13页 |
| ·SCOOT 自适应系统 | 第13页 |
| ·OPAC 自适应系统 | 第13-14页 |
| ·RHODES 自适应控制系统 | 第14-15页 |
| ·研究目的与意义 | 第15页 |
| ·论文的主要研究内容 | 第15-17页 |
| 第二章 强化学习理论 | 第17-27页 |
| ·强化学习的研究现状 | 第17-19页 |
| ·强化学习的基本原理 | 第19-20页 |
| ·TD 学习 | 第20-26页 |
| ·Sarsa 算法：在线的 TD 控制 | 第21-23页 |
| ·Q 学习算法：离线的 TD 控制 | 第23页 |
| ·Actor-Critic 方法 | 第23-24页 |
| ·R 学习算法 | 第24-26页 |
| ·TD 方法的优缺点 | 第26-27页 |
| 第三章 绿灯时间等饱和度的状态离散 TD 学习模型 | 第27-43页 |
| ·基本概念 | 第27-28页 |
| ·建模方法 | 第28-30页 |
| ·算法的模式选择 | 第28-29页 |
| ·模型建立的关键因素 | 第29-30页 |
| ·状态离散和行为的选取 | 第30页 |
| ·优化模型 | 第30-35页 |
| ·定周期奖赏不分级的 TD 学习优化模型 | 第30-31页 |
| ·定周期奖赏分级的 TD 学习优化模型 | 第31-32页 |
| ·变周期奖赏不分级的 TD 学习优化模型 | 第32-33页 |
| ·变周期奖赏分级的 TD 学习优化模型 | 第33-35页 |
| ·算例分析 | 第35-42页 |
| ·计算环境 | 第35-36页 |
| ·定周期奖赏不分级的 TD 学习优化模型 | 第36-38页 |
| ·定周期奖赏分级的 TD 学习优化模型 | 第38-39页 |
| ·变周期奖赏不分级的 TD 学习优化模型 | 第39-40页 |
| ·变周期奖赏分级的 TD 学习优化模型 | 第40-42页 |
| ·本章小结 | 第42-43页 |
| 第四章 绿灯时间等饱和度的状态模糊 TD 学习模型 | 第43-57页 |
| ·状态模糊方法 | 第43-45页 |
| ·模糊理论简介 | 第43-44页 |
| ·隶属度函数 | 第44-45页 |
| ·状态模糊函数的选取 | 第45-46页 |
| ·定周期奖赏不分级的状态模糊 TD 学习优化模型 | 第46-48页 |
| ·优化模型 | 第46-47页 |
| ·算例分析 | 第47-48页 |
| ·定周期奖赏分级的状态模糊 TD 学习优化模型 | 第48-51页 |
| ·优化模型 | 第48-49页 |
| ·算例分析 | 第49-51页 |
| ·变周期奖赏不分级的状态模糊 TD 学习优化模型 | 第51-53页 |
| ·优化模型 | 第51页 |
| ·算例分析 | 第51-53页 |
| ·变周期奖赏分级的状态模糊 TD 学习优化模型 | 第53-56页 |
| ·优化模型 | 第53-54页 |
| ·算例分析 | 第54-56页 |
| ·本章小结 | 第56-57页 |
| 第五章 结论与展望 | 第57-59页 |
| ·结论 | 第57页 |
| ·展望 | 第57-59页 |
| 参考文献 | 第59-62页 |
| 致谢 | 第62-63页 |
| 附录 A（攻读学位期间发表学术论文与科研项目） | 第63-64页 |
| 附录 B 单路口 Q 学习交通信号控制算法 MATLAB 程序 | 第64-73页 |
| B.1 定周期奖赏不分级的主程序： | 第64-66页 |
| B.2 定周期奖赏分级的主程序： | 第66-68页 |
| B.3 变周期奖赏不分级的主程序： | 第68-70页 |
| B.4 变周期奖赏分级的主程序： | 第70-72页 |
| B.5 状态模糊主程序： | 第72-73页 |
