基于Hadoop的云平台在海量Web数据分析中的应用研究
| 摘要 | 第1-3页 |
| ABSTRACT | 第3-7页 |
| 1 绪论 | 第7-15页 |
| ·选题的背景及研究的意义 | 第7-8页 |
| ·国内外研究现状 | 第8-12页 |
| ·云计算 | 第8-10页 |
| ·Hadoop | 第10-12页 |
| ·海量数据分析 | 第12页 |
| ·研究的目的和主要内容 | 第12-13页 |
| ·研究目的及意义 | 第12-13页 |
| ·研究的主要内容 | 第13页 |
| ·论文组织结构 | 第13-15页 |
| 2 相关理论与关键技术 | 第15-26页 |
| ·分布式文件系统（HDFS） | 第15-18页 |
| ·Map/Reduce 计算框架 | 第18-23页 |
| ·Map/Reduce 编程模型 | 第18-22页 |
| ·Shuffle 过程 | 第22-23页 |
| ·Hadoop 与其它数据处理模型的比较 | 第23-25页 |
| ·Hadoop 与关系型数据库的比较 | 第23-24页 |
| ·Hadoop 与网格计算比较 | 第24-25页 |
| ·本章小结 | 第25-26页 |
| 3 海量 Web 数据分析系统分析与设计 | 第26-36页 |
| ·需求分析 | 第26-28页 |
| ·背景分析 | 第26页 |
| ·常见日志数据格式及 KPI 功能需求分析 | 第26-27页 |
| ·Web 数据挖掘分析 | 第27-28页 |
| ·数据集成方案选型 | 第28-29页 |
| ·系统的架构设计 | 第29-30页 |
| ·Map-Reduce 并行算法模型设计 | 第30-35页 |
| ·KPI 指标的 Map/Reduce 化模型 | 第31-32页 |
| ·协同过滤算法的 Map/Reduce 化模型 | 第32-35页 |
| ·本章小结 | 第35-36页 |
| 4 海量 Web 数据分析系统的实现与测试 | 第36-56页 |
| ·开发环境介绍 | 第36页 |
| ·基于 Hadoop 的云平台搭建 | 第36-44页 |
| ·总体设计 | 第36-37页 |
| ·实际布局 | 第37-41页 |
| ·分布式数据管理的实施 | 第41-42页 |
| ·运行测试 | 第42-44页 |
| ·用 Maven 构建 hadoop 项目环境 | 第44-45页 |
| ·MapReduce 程序开发 | 第45-52页 |
| ·KPI 指标分析程序开发 | 第46-48页 |
| ·协同过滤算法程序开发 | 第48-52页 |
| ·系统测试与结果分析 | 第52-55页 |
| ·KPI 指标分析测试与结果分析 | 第52-54页 |
| ·基于物品的协同过滤算法并行程序测试 | 第54-55页 |
| ·日志数据处理性能对比测试 | 第55页 |
| ·本章小结 | 第55-56页 |
| 5 总结与展望 | 第56-58页 |
| ·本文总结 | 第56-57页 |
| ·进一步展望 | 第57-58页 |
| 致谢 | 第58-59页 |
| 图表清单 | 第59-61页 |
| 参考文献 | 第61-64页 |
| 附录 | 第64页 |
