| 摘要 | 第4-5页 |
| ABSTRACT | 第5-6页 |
| 第一章 前言 | 第9-13页 |
| 1.1 研究背景 | 第9-10页 |
| 1.2 相关研究现状 | 第10-11页 |
| 1.3 研究内容 | 第11-12页 |
| 1.4 论文结构 | 第12-13页 |
| 第二章 相关概念及技术介绍 | 第13-25页 |
| 2.1 HDFS分布式文件系统 | 第13-15页 |
| 2.1.1 HDFS分布式文件的优点 | 第13页 |
| 2.1.2 HDFS的集群结构 | 第13-14页 |
| 2.1.3 HDFS中数据的存储 | 第14-15页 |
| 2.2 MVC框架 | 第15-19页 |
| 2.2.1 Spring框架 | 第16-18页 |
| 2.2.2 Mybatis框架 | 第18-19页 |
| 2.3 MapReduce分布计算框架 | 第19-21页 |
| 2.3.1 MapReduce框架的优点 | 第19页 |
| 2.3.2 MapReduce架构 | 第19-21页 |
| 2.4 数据仓库Hive | 第21-24页 |
| 2.4.1 Hive架构与基本组成 | 第21-22页 |
| 2.4.2 Hive与传统数据库相比较 | 第22-23页 |
| 2.4.3 Hive的数据存储 | 第23-24页 |
| 2.5 本章小结 | 第24-25页 |
| 第三章 NameNode单点故障解决方法 | 第25-35页 |
| 3.1 NameNode单点故障原因分析 | 第25-26页 |
| 3.2 HDFS元数据解析 | 第26-27页 |
| 3.3 SecondaryNameNode+NFS方法解决NameNode单点故障分析 | 第27-30页 |
| 3.4 实验结果的验证与分析 | 第30-34页 |
| 3.5 本章小结 | 第34-35页 |
| 第四章 Hadoop集群监控系统的设计与实现 | 第35-51页 |
| 4.1 监控系统的需求分析 | 第35-36页 |
| 4.2 监控系统的总体设计 | 第36-37页 |
| 4.3 监控系统的主要功能模块的设计 | 第37-39页 |
| 4.3.1 Hadoop集群Job监控模块的设计 | 第37页 |
| 4.3.2 Hadoop集群中HDFS使用情况监控模块的设计 | 第37-38页 |
| 4.3.3 Hadoop集群节点监控模块的设计 | 第38-39页 |
| 4.4 监控系统的详细设计与实现 | 第39-47页 |
| 4.4.1 Hadoop集群Job监控模块的实现 | 第39-42页 |
| 4.4.2 Hadoop集群中HDFS使用情况监控模块的实现 | 第42-44页 |
| 4.4.3 Hadoop集群节点监控模块的实现 | 第44-45页 |
| 4.4.4 Hadoop集群监控系统的数据库表设计 | 第45-47页 |
| 4.5 实验结果的验证与分析 | 第47-50页 |
| 4.6 本章小结 | 第50-51页 |
| 第五章 Hadoop集群中Hive Sql任务的优化 | 第51-66页 |
| 5.1 深入解析MapReduce执行过程 | 第51-52页 |
| 5.2 Map side调优 | 第52-56页 |
| 5.2.1 使用map join进行优化 | 第52-54页 |
| 5.2.2 调整分片的大小进行优化 | 第54-55页 |
| 5.2.3 通过输入小文件合并进行调优 | 第55-56页 |
| 5.3 Reduce side调优 | 第56-57页 |
| 5.3.1 数据倾斜问题进行调优 | 第56-57页 |
| 5.4 实验结果的验证与分析 | 第57-65页 |
| 5.4.1 测试环境 | 第57-59页 |
| 5.4.2 测试用例及实验结果 | 第59-65页 |
| 5.5 本章小结 | 第65-66页 |
| 第六章 总结与展望 | 第66-68页 |
| 6.1 全文总结 | 第66-67页 |
| 6.2 下一步工作 | 第67-68页 |
| 参考文献 | 第68-70页 |
| 致谢 | 第70-71页 |
