基于Hadoop平台的海量数据处理研究及应用
| 摘要 | 第1-5页 |
| ABSTRACT | 第5-9页 |
| 第一章 绪论 | 第9-13页 |
| ·课题研究背景 | 第9页 |
| ·海量数据的存储和分析 | 第9-10页 |
| ·Hadoop的发展历程 | 第10-11页 |
| ·Hadoop的相关应用 | 第11页 |
| ·论文结构 | 第11-13页 |
| 第二章 Hadoop及相关技术 | 第13-20页 |
| ·什么是Hadoop | 第13页 |
| ·Hadoop与分布式文件系统 | 第13-14页 |
| ·Hadoop与传统SQL数据库的比较 | 第14-15页 |
| ·分布式文件系统相关技术介绍 | 第15-19页 |
| ·Google File System | 第15-17页 |
| ·Memcached | 第17-18页 |
| ·MogileFs | 第18-19页 |
| ·本章小结 | 第19-20页 |
| 第三章 Hadoop核心技术深入解析 | 第20-30页 |
| ·HDFS原理深入解析 | 第20-23页 |
| ·HDFS设计思想 | 第20页 |
| ·名字节点和数据节点 | 第20-22页 |
| ·块的概念 | 第22页 |
| ·文件系统命名空间 | 第22页 |
| ·元数据的持久化 | 第22-23页 |
| ·MapReduce原理深入解析 | 第23-28页 |
| ·Jobtracker与Tasktracker | 第23-24页 |
| ·MapReduce工作原理 | 第24-26页 |
| ·Map and Shuffle | 第25-26页 |
| ·Reduce and Shuffle | 第26页 |
| ·MapReduce的作业执行流程 | 第26-28页 |
| ·作业提交 | 第27-28页 |
| ·作业初始化 | 第28页 |
| ·任务分配 | 第28页 |
| ·任务执行 | 第28页 |
| ·任务结束 | 第28页 |
| ·本章小结 | 第28-30页 |
| 第四章 海量数据处理设计及实现 | 第30-38页 |
| ·设计思想 | 第30-31页 |
| ·日志生成 | 第31页 |
| ·日志传送 | 第31页 |
| ·日志格式拆解 | 第31-32页 |
| ·日志分析组件 | 第32-35页 |
| ·日志分析样例 | 第35页 |
| ·MapReduce作业配置参数优化 | 第35-37页 |
| ·I/O属性类的优化 | 第36页 |
| ·MapReduce属性类的优化 | 第36-37页 |
| ·本章小结 | 第37-38页 |
| 第五章 日志处理实验及数据分析 | 第38-49页 |
| ·实验设计与环境搭建 | 第38-47页 |
| ·硬件配置 | 第38-39页 |
| ·软件配置 | 第39页 |
| ·系统环境配置 | 第39-42页 |
| ·配置主机名 | 第39页 |
| ·安装JDK | 第39页 |
| ·创建运行Hadoop程序的用户 | 第39-40页 |
| ·配置SSH无密钥验证配置 | 第40-42页 |
| ·Hadoop集群配置 | 第42-47页 |
| ·在master上安装 | 第42-44页 |
| ·修改slave主机 | 第44页 |
| ·Hadoop相关操作 | 第44-47页 |
| ·实验结果分析 | 第47-48页 |
| ·本章小结 | 第48-49页 |
| 第六章 总结与展望 | 第49-50页 |
| ·论文总结 | 第49页 |
| ·对未来的展望 | 第49-50页 |
| 附录 缩略语 | 第50-51页 |
| 参考文献 | 第51-52页 |
| 致谢 | 第52-53页 |
| 攻读硕士学位期间发表的学术论文目录 | 第53页 |
