基于Hadoop的海量数据分析系统设计与实现
| 摘要 | 第4-5页 |
| Abstract | 第5页 |
| 1 绪论 | 第8-13页 |
| 1.1 选题的背景与意义 | 第8-9页 |
| 1.2 国内外研究现状及分析 | 第9-11页 |
| 1.3 本文的主要内容及组织结构 | 第11-13页 |
| 2 Hadoop相关技术 | 第13-24页 |
| 2.1 Hadoop简介 | 第13-14页 |
| 2.2 HDFS系统 | 第14-18页 |
| 2.3 Map/Reduce编程框架 | 第18-20页 |
| 2.4 Hive | 第20-22页 |
| 2.5 本章小结 | 第22-24页 |
| 3 系统总体分析与设计 | 第24-31页 |
| 3.1 需求分析 | 第24-25页 |
| 3.2 系统程序流程 | 第25-30页 |
| 3.3 本章小结 | 第30-31页 |
| 4 系统详细设计与实现 | 第31-39页 |
| 4.1 日志的预处理 | 第31-32页 |
| 4.2 生成最细分粒度数据的实现 | 第32-35页 |
| 4.2.1 对日志的分解过程 | 第32-34页 |
| 4.2.2 建立Hive表 | 第34-35页 |
| 4.3 细分粒度汇总的实现 | 第35-37页 |
| 4.3.1 细分粒度汇总 | 第35页 |
| 4.3.2 汇总后的Hive表 | 第35-37页 |
| 4.4 系统报表生成的实现 | 第37页 |
| 4.4.1 数据存入Mysql中 | 第37页 |
| 4.4.2 系统报表生成的作用 | 第37页 |
| 4.5 系统作图功能的实现 | 第37-39页 |
| 4.5.1 发送邮件功能 | 第37-38页 |
| 4.5.2 DOTPainter画图模块 | 第38-39页 |
| 5 系统核心功能代码及测试 | 第39-52页 |
| 5.1 总体流程 | 第39-44页 |
| 5.2 数据展现 | 第44-45页 |
| 5.3 系统运行结果展示 | 第45-52页 |
| 结论 | 第52-53页 |
| 参考文献 | 第53-55页 |
| 致谢 | 第55-56页 |
