基于Hadoop的早教订课通数据统计与分析系统的设计
| 摘要 | 第5-6页 |
| Abstract | 第6页 |
| 第1章 绪论 | 第12-18页 |
| 1.1 背景及意义 | 第12-14页 |
| 1.2 国内外研究现状 | 第14-15页 |
| 1.3 研究内容 | 第15-16页 |
| 1.4 论文结构 | 第16-18页 |
| 第2章 项目相关技术 | 第18-28页 |
| 2.1 Hadoop简介 | 第18-20页 |
| 2.2 Hadoop基本框架简介 | 第20-23页 |
| 2.2.1 HDFS基本框架 | 第20-21页 |
| 2.2.2 MapReduce体系结构 | 第21-23页 |
| 2.3 其它海量数据平台 | 第23-27页 |
| 2.3.1 Memcached | 第23-25页 |
| 2.3.2 MogileFS | 第25-26页 |
| 2.3.3 SimpleDB | 第26页 |
| 2.3.4 Blue Cloud | 第26-27页 |
| 2.4 本章小结 | 第27-28页 |
| 第3章 HADOOP平台的设计架构 | 第28-38页 |
| 3.1 Hadoop平台的构造模块 | 第28-30页 |
| 3.1.1 NameNode | 第29页 |
| 3.1.2 DataNode | 第29页 |
| 3.1.3 Secondary DataNode | 第29页 |
| 3.1.4 JobTracker | 第29-30页 |
| 3.1.5 TaskTracker | 第30页 |
| 3.2 HDFS | 第30-31页 |
| 3.2.1 HDFS的设计目标 | 第30页 |
| 3.2.2 HDFS的相关概念 | 第30-31页 |
| 3.3 MapReduce | 第31-34页 |
| 3.3.1 MapReduce编程模型 | 第31-32页 |
| 3.3.2 MapReduce体系结构 | 第32页 |
| 3.3.3 MapReduce工作流程 | 第32-34页 |
| 3.4 Hive | 第34-37页 |
| 3.4.1 Hive的定义 | 第34-35页 |
| 3.4.2 Hive的数据存储 | 第35页 |
| 3.4.3 Hive与关系型数据库的比较 | 第35-37页 |
| 3.5 本章小结 | 第37-38页 |
| 第4章 海量数据处理的设计与实现 | 第38-48页 |
| 4.1 需求分析 | 第38-39页 |
| 4.1.1 原有架构的弊端 | 第38页 |
| 4.1.2 日志统计需求 | 第38-39页 |
| 4.2 设计思想 | 第39-41页 |
| 4.2.1 拆分 | 第39-40页 |
| 4.2.2 重构 | 第40页 |
| 4.2.3 融合 | 第40-41页 |
| 4.3 模型框架 | 第41-42页 |
| 4.4 功能模块 | 第42-46页 |
| 4.4.1 日志收集 | 第42-43页 |
| 4.4.2 格式清理 | 第43-44页 |
| 4.4.3 导入DFS | 第44页 |
| 4.4.4 规则运算 | 第44-45页 |
| 4.4.5 导出DFS | 第45-46页 |
| 4.4.6 清理历史数据 | 第46页 |
| 4.4.7 监控报警 | 第46页 |
| 4.5 性能优化 | 第46-47页 |
| 4.5.1 分类函数 | 第46页 |
| 4.5.2 排序 | 第46页 |
| 4.5.3 引入混合函数 | 第46-47页 |
| 4.5.4 记录状态信息 | 第47页 |
| 4.6 本章小结 | 第47-48页 |
| 第5章 实验与数据分析 | 第48-53页 |
| 5.1 实验目的 | 第48页 |
| 5.2 ETL简介 | 第48-49页 |
| 5.3 实验环境的配置 | 第49-50页 |
| 5.4 运行实例的配置 | 第50-51页 |
| 5.5 实验结果分析 | 第51-52页 |
| 5.6 本章小结 | 第52-53页 |
| 总结与展望 | 第53-55页 |
| 参考文献 | 第55-58页 |
| 致谢 | 第58页 |
