金融大数据平台部分模块的设计与实现
| 致谢 | 第5-6页 |
| 摘要 | 第6-7页 |
| ABSTRACT | 第7-8页 |
| 1 引言 | 第11-15页 |
| 1.1 项目背景 | 第11页 |
| 1.2 题目来源 | 第11-12页 |
| 1.3 研究内容 | 第12页 |
| 1.4 国内外研究现状 | 第12-13页 |
| 1.5 论文结构 | 第13-14页 |
| 1.6 本章小结 | 第14-15页 |
| 2 关键技术介绍 | 第15-21页 |
| 2.1 网络爬虫 | 第15-16页 |
| 2.2 网页解析 | 第16页 |
| 2.3 SOLR简介 | 第16-17页 |
| 2.4 中文分词 | 第17-18页 |
| 2.5 Hadoop | 第18页 |
| 2.6 数据展示 | 第18-19页 |
| 2.7 本章小结 | 第19-21页 |
| 3 系统需求分析 | 第21-31页 |
| 3.1 系统整体业务需求 | 第21-22页 |
| 3.2 采集中心需求分析 | 第22-24页 |
| 3.3 数据中心需求分析 | 第24-25页 |
| 3.4 应用平台需求分析 | 第25-29页 |
| 3.4.1 论文检索 | 第25-28页 |
| 3.4.2 理财产品专题 | 第28-29页 |
| 3.5 非功能性需求 | 第29-30页 |
| 3.6 本章小结 | 第30-31页 |
| 4 系统概要设计 | 第31-41页 |
| 4.1 数据平台概要结构 | 第31-33页 |
| 4.2 爬虫程序概要结构 | 第33-34页 |
| 4.3 SOLR搜索引擎结构 | 第34-35页 |
| 4.4 应用平台概要设计 | 第35-36页 |
| 4.5 数据存储设计 | 第36-40页 |
| 4.5.1 数据存储策略 | 第36-37页 |
| 4.5.2 关系型数据存储 | 第37-39页 |
| 4.5.3 SOLR索引存储 | 第39-40页 |
| 4.5.4 期刊论文文件存储 | 第40页 |
| 4.6 本章小结 | 第40-41页 |
| 5 系统详细设计与实现 | 第41-69页 |
| 5.1 采集中心详细设计与实现 | 第41-56页 |
| 5.1.1 国家数据网站数据采集 | 第41-45页 |
| 5.1.2 理财产品信息采集 | 第45-51页 |
| 5.1.3 反爬虫的应对策略 | 第51-52页 |
| 5.1.4 期刊论文数据采集 | 第52-56页 |
| 5.2 SOLR搜索引擎搭建 | 第56-60页 |
| 5.2.1 服务器搭建 | 第56-57页 |
| 5.2.2 索引建立 | 第57-60页 |
| 5.3 应用平台详细设计 | 第60-67页 |
| 5.3.1 论文检索 | 第60-62页 |
| 5.3.2 理财产品专题 | 第62-67页 |
| 5.4 本章小结 | 第67-69页 |
| 6 系统测试 | 第69-81页 |
| 6.1 采集中心测试 | 第69-73页 |
| 6.1.1 国家数据采集测试 | 第69-71页 |
| 6.1.2 理财产品数据采集 | 第71-73页 |
| 6.2 应用平台测试 | 第73-79页 |
| 6.2.1 功能性测试 | 第73-77页 |
| 6.2.2 非功能性测试 | 第77-79页 |
| 6.3 本章小结 | 第79-81页 |
| 7 结论 | 第81-82页 |
| 参考文献 | 第82-84页 |
| 附录A | 第84-88页 |
| 附录B | 第88-91页 |
| 作者简历及攻读硕士学位期间取得的研究成果 | 第91-93页 |
| 学位论文数据集 | 第93页 |
