基于Hadoop平台的海量数据处理应用
| 摘要 | 第1-5页 |
| Abstract | 第5-9页 |
| 第1章 绪论 | 第9-14页 |
| ·研究背景与意义 | 第9-10页 |
| ·Hadoop 在数据处理上的优势 | 第10-12页 |
| ·Hadoop 与传统关系型数据库的比较 | 第10-11页 |
| ·Hadoop 与 MPI 的比较 | 第11-12页 |
| ·Hadoop 目前的主要应用 | 第12-13页 |
| ·论文结构 | 第13-14页 |
| 第2章 相关技术介绍 | 第14-21页 |
| ·Hadoop 平台技术介绍 | 第14-17页 |
| ·HDFS 分布式文件系统介绍 | 第14-15页 |
| ·MapReduce 并行计算模型介绍 | 第15-17页 |
| ·其他海量数据处理平台技术介绍 | 第17-20页 |
| ·Memcached | 第17-19页 |
| ·MogileFS | 第19-20页 |
| ·本章小结 | 第20-21页 |
| 第3章 Hadoop 平台架构的深入分析 | 第21-31页 |
| ·HDFS 架构的深入分析 | 第21-25页 |
| ·HDFS 的目标 | 第21-22页 |
| ·NameNode 与 DataNode | 第22页 |
| ·块的概念与数据复制 | 第22-24页 |
| ·文件系统的命名空间 | 第24页 |
| ·元数据的持久化 | 第24-25页 |
| ·MapReduce 架构的深入分析 | 第25-30页 |
| ·MapReduce 的总体执行流程分析 | 第25-26页 |
| ·Map 过程介绍 | 第26-27页 |
| ·Shuffle 过程介绍 | 第27-29页 |
| ·Reduce 过程介绍 | 第29-30页 |
| ·本章小结 | 第30-31页 |
| 第4章 海量数据处理的设计与实现 | 第31-44页 |
| ·海量日志处理方案的设计与实现 | 第31-37页 |
| ·日志格式分析 | 第31-32页 |
| ·日志分析功能需求 | 第32-33页 |
| ·数据输出表设计 | 第33-34页 |
| ·日志处理流程分析 | 第34-36页 |
| ·作业的详细设计 | 第36-37页 |
| ·图论算法在 Hadoop 中应用的设计与实现 | 第37-40页 |
| ·单源最短路径的分布式实现 | 第37-40页 |
| ·MapReduce 作业的优化设计 | 第40-43页 |
| ·I/O 属性类的优化 | 第41-42页 |
| ·MapReduce 属性类的优化 | 第42-43页 |
| ·本章小结 | 第43-44页 |
| 第五章 实验与数据分析 | 第44-48页 |
| ·实验目的与设计 | 第44页 |
| ·实验环境的配置 | 第44页 |
| ·实验结果分析 | 第44-47页 |
| ·日志处理实验分析 | 第44-46页 |
| ·图论—Dijkstra 算法实验分析 | 第46-47页 |
| ·本章小结 | 第47-48页 |
| 第6章 总结与展望 | 第48-50页 |
| 参考文献 | 第50-52页 |
| 致谢 | 第52页 |
