面向在线学习的优化理论及算法研究
| 摘要 | 第5-7页 |
| Abstract | 第7-9页 |
| 1 绪论 | 第13-28页 |
| 1.1 选题背景与意义 | 第13-17页 |
| 1.2 在线学习 | 第17-22页 |
| 1.2.1 监督学习与正则化 | 第17-20页 |
| 1.2.2 在线凸规划 | 第20-22页 |
| 1.3 国内外研究现状 | 第22-26页 |
| 1.4 本文研究内容 | 第26-28页 |
| 1.4.1 课题来源 | 第26页 |
| 1.4.2 研究内容安排 | 第26-28页 |
| 2 基于耦合线性化的在线学习算法 | 第28-48页 |
| 2.1 引言 | 第28-29页 |
| 2.2 批处理ADMM框架,最优性条件及残差 | 第29-31页 |
| 2.2.1 框架 | 第29-30页 |
| 2.2.2 最优性条件及残差 | 第30-31页 |
| 2.3 在线耦合线性化交替迭代算法 | 第31-40页 |
| 2.3.1 CLAIM | 第31-34页 |
| 2.3.2 Regret和收敛性分析 | 第34-40页 |
| 2.4 实验分析 | 第40-44页 |
| 2.4.1 实验一 | 第40-43页 |
| 2.4.2 实验二 | 第43-44页 |
| 2.5 CLAIM算法的扩展 | 第44-47页 |
| 2.5.1 伸缩CLAIM | 第44-45页 |
| 2.5.2 带重启动机制的伸缩CLAIM | 第45页 |
| 2.5.3 扩展CLAIM的性能比较 | 第45-47页 |
| 2.6 本章小结 | 第47-48页 |
| 3 基于随机谱梯度的在线学习算法 | 第48-62页 |
| 3.1 引言 | 第48-51页 |
| 3.2 随机谱梯度下降方法 | 第51-58页 |
| 3.2.1 相关知识 | 第51-53页 |
| 3.2.2 算法 | 第53-58页 |
| 3.3 实验分析 | 第58-61页 |
| 3.3.1 问题、数据集描述及算法参数设置 | 第58页 |
| 3.3.2 实验方法与结果 | 第58-61页 |
| 3.4 本章小结 | 第61-62页 |
| 4 面向在线学习的加权多任务学习算法 | 第62-88页 |
| 4.1 引言 | 第62-63页 |
| 4.2 准备知识 | 第63-64页 |
| 4.3 加权多任务学习 | 第64-71页 |
| 4.3.1 多任务学习问题设置 | 第65页 |
| 4.3.2 加权多任务学习模型 | 第65-66页 |
| 4.3.3 加权多任务学习模型的在线优化 | 第66-67页 |
| 4.3.4 Regret和收敛性分析 | 第67页 |
| 4.3.5 实验分析 | 第67-71页 |
| 4.4 面向特征与任务共选择的加权多任务学习 | 第71-82页 |
| 4.4.1 加权特征与任务共选择模型 | 第71页 |
| 4.4.2 加权特征与任务共选择模型的在线优化 | 第71-72页 |
| 4.4.3 Regret和收敛性分析 | 第72-75页 |
| 4.4.4 实验分析 | 第75-82页 |
| 4.5 多任务学习模型的进一步探讨 | 第82-87页 |
| 4.6 本章小结 | 第87-88页 |
| 5 面向在线学习的K-sparse字典学习算法 | 第88-104页 |
| 5.1 引言 | 第88-96页 |
| 5.1.1 稀疏表示的数学模型 | 第88-89页 |
| 5.1.2 稀疏编码 | 第89-91页 |
| 5.1.3 字典学习 | 第91-94页 |
| 5.1.4 在线字典学习 | 第94-96页 |
| 5.2 基于分块的K-sparse字典学习算法 | 第96-97页 |
| 5.2.1 算法概述 | 第96页 |
| 5.2.2 编码更新 | 第96-97页 |
| 5.2.3 字典更新 | 第97页 |
| 5.3 实验分析 | 第97-98页 |
| 5.3.1 数据集与实验设置 | 第97-98页 |
| 5.3.2 算法性能评估 | 第98页 |
| 5.4 本章小结 | 第98-104页 |
| 6 总结与展望 | 第104-106页 |
| 6.1 本文工作总结 | 第104-105页 |
| 6.2 未来工作展望 | 第105-106页 |
| 致谢 | 第106-108页 |
| 参考文献 | 第108-122页 |
| 附录 | 第122-126页 |
