基于Hadoop集群的实时事件研究系统
| 摘要 | 第5-6页 |
| ABSTRACT | 第6-7页 |
| 第一章 绪论 | 第10-16页 |
| 1.1 背景 | 第10-11页 |
| 1.2 研究现状和存在的问题 | 第11-13页 |
| 1.2.1 事件研究法的发展与应用 | 第11-13页 |
| 1.2.2 事件研究法存在的问题 | 第13页 |
| 1.3 本文研究内容和拟解决的问题 | 第13-14页 |
| 1.4 本文结构 | 第14-16页 |
| 第二章 相关理论和技术 | 第16-26页 |
| 2.1 事件研究法 | 第16-19页 |
| 2.1.1 理论基础 | 第16-18页 |
| 2.1.2 事件研究法的基本步骤 | 第18-19页 |
| 2.2 Hadoop相关技术和工具 | 第19-23页 |
| 2.2.1 大数据存储 | 第19-20页 |
| 2.2.2 集群管理 | 第20-21页 |
| 2.2.3 流式数据中间件 | 第21-23页 |
| 2.2.4 大数据计算框架 | 第23页 |
| 2.3 搜索引擎服务器Sor | 第23-24页 |
| 2.4 本章小结 | 第24-26页 |
| 第三章 事件研究算法的并行设计与实现 | 第26-42页 |
| 3.1 Spark编程模型 | 第27-29页 |
| 3.2 公共组件的设计 | 第29-32页 |
| 3.2.1 数据预处理 | 第29-30页 |
| 3.2.2 收益率计算 | 第30-32页 |
| 3.3 预测模型组件的设计 | 第32-36页 |
| 3.3.1 算法细节与数学描述 | 第33-34页 |
| 3.3.2 并行化算法的设计与实现 | 第34-36页 |
| 3.4 检验模型组件的设计 | 第36-41页 |
| 3.4.1 检验模型介绍 | 第36-39页 |
| 3.4.2 算法设计 | 第39-41页 |
| 3.5 本章小结 | 第41-42页 |
| 第四章 系统设计与实现 | 第42-66页 |
| 4.1 需求分析与系统设计 | 第42-44页 |
| 4.2 数据采集层设计与实现 | 第44-56页 |
| 4.2.1 网络爬虫技术 | 第45-47页 |
| 4.2.2 公告获取 | 第47-52页 |
| 4.2.3 公告收集与解析 | 第52-56页 |
| 4.3 数据存储层设计与实现 | 第56-62页 |
| 4.3.1 股票行情数据存储 | 第57-58页 |
| 4.3.2 事件数据的存储 | 第58-59页 |
| 4.3.3 Solr存储 | 第59-62页 |
| 4.4 用户层设计与实现 | 第62-64页 |
| 4.5 本章小结 | 第64-66页 |
| 第五章 系统测试与性能评估 | 第66-74页 |
| 5.1 公告事件爬虫测试 | 第66-68页 |
| 5.2 模型计算测试 | 第68-73页 |
| 5.2.1 正确性测试 | 第68-71页 |
| 5.2.2 与传统计算工具的性能对比 | 第71-73页 |
| 5.3 测试评估结论 | 第73-74页 |
| 第六章 总结与展望 | 第74-76页 |
| 6.1 工作总结 | 第74页 |
| 6.2 工作展望 | 第74-76页 |
| 参考文献 | 第76-78页 |
| 致谢 | 第78-79页 |
| 攻读学位期间取得的研究成果 | 第79页 |
