摘要 | 第3-4页 |
Abstract | 第4-5页 |
第一章 绪论 | 第9-13页 |
1.1 研究背景与意义 | 第9-10页 |
1.2 国内外研究和应用的现状 | 第10-11页 |
1.3 论文主要研究内容和论文结构 | 第11-13页 |
1.3.1 本文研究的主要内容 | 第11页 |
1.3.2 论文章节结构安排 | 第11-13页 |
第二章 Hadoop平台相关技术和架构 | 第13-22页 |
2.1 Hadoop平台关键技术 | 第13-16页 |
2.1.1 分布式文件系统(HDFS) | 第13页 |
2.1.2 并行编程架构(Mapreduce) | 第13-14页 |
2.1.3 分布式数据仓库(Hive) | 第14-15页 |
2.1.4 分布式面向列存储数据库(HBase) | 第15-16页 |
2.2 Hadoop总体结构 | 第16-17页 |
2.3 其他能够处理海量数据的框架 | 第17-19页 |
2.3.1 分布式文档存储数据库(MongoDB) | 第17-18页 |
2.3.2 Redis | 第18-19页 |
2.4 数据采集方法设计研究 | 第19-21页 |
2.4.1 Flume | 第19-20页 |
2.4.2 Kafka | 第20-21页 |
2.5 本章小结 | 第21-22页 |
第三章 Hadoop集群工作原理 | 第22-40页 |
3.1 HDF S的深入研究 | 第22-28页 |
3.1.1 HDFS的设计前提和目标 | 第22页 |
3.1.2 HDFS的主/从结构 | 第22-23页 |
3.1.3 HDFS的其他基础理论 | 第23-25页 |
3.1.4 HDFS的工作原理和流程 | 第25-28页 |
3.2 Mapreduce框架分析介绍 | 第28-33页 |
3.2.1 Mapreduce结构介绍 | 第29页 |
3.2.2 Mapreduce工作原理 | 第29-32页 |
3.2.3 Mapreduce的执行流程分析 | 第32-33页 |
3.3 分布式数据仓库Hive的原理分析设计 | 第33-36页 |
3.3.1 介绍和分析Hive架构 | 第33-34页 |
3.3.2 分析Hive的原理和执行流程设计 | 第34-35页 |
3.3.3 Hive与Hadoop系统的关系应用 | 第35-36页 |
3.4 分布式面向列存储的数据库HBase | 第36-39页 |
3.4.1 HBase框架结构的分析设计 | 第36-38页 |
3.4.2 HBase与传统数据库比较 | 第38页 |
3.4.3 HBase的工作原理与执行流程分析设计 | 第38-39页 |
3.5 本章小结 | 第39-40页 |
第四章 Hadoop平台的搭建 | 第40-45页 |
4.1 Hadoop平台集群的搭建和配置 | 第40-43页 |
4.1.1 硬件环境介绍 | 第40-41页 |
4.1.2 软件环境搭建配置 | 第41-43页 |
4.1.3 环境运行测试 | 第43页 |
4.2 本章小结 | 第43-45页 |
第五章 系统性能的测试和分析 | 第45-63页 |
5.1 系统设计目标和需求分析 | 第46-47页 |
5.1.1 系统设计目标 | 第46-47页 |
5.1.2 系统需求分析 | 第47页 |
5.2 系统设计与实现 | 第47-52页 |
5.2.1 系统的逻辑架构图 | 第47-48页 |
5.2.2 系统设计方法实现 | 第48-52页 |
5.3 系统实验测试结果和分析 | 第52-59页 |
5.3.1 实验数据来源 | 第52页 |
5.3.2 实验数据处理过程 | 第52-54页 |
5.3.3 实验结果和分析 | 第54-59页 |
5.4 数据采集方法 | 第59-60页 |
5.4.1 数据采集系统 | 第59-60页 |
5.5 基于Hadoop平台应用旅游推荐服务构思设计 | 第60-62页 |
5.6 本章小结 | 第62-63页 |
第六章 总结与展望 | 第63-65页 |
6.1 总结 | 第63页 |
6.2 展望 | 第63-65页 |
参考文献 | 第65-68页 |
致谢 | 第68页 |