摘要 | 第1-4页 |
Abstract | 第4-7页 |
1 绪论 | 第7-11页 |
·研究背景 | 第7-8页 |
·云计算的兴起 | 第7-8页 |
·集群存储技术的发展 | 第8页 |
·研究意义 | 第8-10页 |
·论文研究的主要内容 | 第10-11页 |
2 云计算理论 | 第11-22页 |
·云计算概述 | 第11-13页 |
·云计算的概念 | 第11页 |
·云计算和网格计算 | 第11-12页 |
·云计算和云存储 | 第12-13页 |
·云计算的主要服务形式和典型应用 | 第13-16页 |
·云计算的主要服务形式 | 第13-14页 |
·云计算的典型应用 | 第14-16页 |
·云计算理论研究热点 | 第16-22页 |
·云计算体系结构 | 第16-17页 |
·云计算关键技术 | 第17-22页 |
3 Hadoop集群数据管理机制分析 | 第22-34页 |
·Hadoop数据组织和交互 | 第22-27页 |
·Hadoop HDFS设计前提和目标 | 第22页 |
·数据组织和交互 | 第22-24页 |
·HDFS节点故障 | 第24-25页 |
·HDFS负载均衡 | 第25-27页 |
·Hadoop中关键数据结构 | 第27-30页 |
·NameNode FSImage | 第27-28页 |
·NameNode BlockMap | 第28-29页 |
·BlockMap DataNode列表数据结构 | 第29-30页 |
·Hadoop集群启动过程解析 | 第30-34页 |
·FSImage加载过程 | 第30-31页 |
·BlockReport加载过程 | 第31-32页 |
·NameNode Block Recovery过程分析 | 第32-34页 |
4 MapReduce程序设计 | 第34-44页 |
·复合键值对的使用 | 第34-36页 |
·把小的键值对合并成大的键值对 | 第34页 |
·巧用复合键让系统完成排序 | 第34-36页 |
·组合式MapReduce计算作业 | 第36-39页 |
·迭代MapReduce计算任务 | 第36页 |
·组合式MapReduce作业的执行 | 第36-37页 |
·具有复杂依赖关系的组合式MapReduce作业的执行 | 第37-38页 |
·MapReduce前处理和后处理步骤的链式执行 | 第38-39页 |
·多数据源的连接 | 第39-42页 |
·用DataJoin类实现Reduce端连接 | 第39-41页 |
·用全局文件复制方法实现Map端连接 | 第41-42页 |
·带Map端过滤的Reduce端连接 | 第42页 |
·关系数据库的连接与访问 | 第42-44页 |
5 HDFS云存储服务系统的设计与实现 | 第44-56页 |
·HDFS云存储服务系统需求分析 | 第44-46页 |
·问题分析 | 第44页 |
·系统设计目标 | 第44-45页 |
·系统功能需求分析 | 第45-46页 |
·云存储系统体系结构 | 第46页 |
·系统运行环境 | 第46-53页 |
·Hadoop安装部署 | 第47-48页 |
·Hadoop参数及性能测试 | 第48-50页 |
·Zookeeper实现NameNode自动切换 | 第50-52页 |
·Hadoop监控系统Ganglia部署 | 第52-53页 |
·基于HDFS的云存储服务系统实现 | 第53-56页 |
·登录功能模块 | 第53-54页 |
·管理员功能模块 | 第54页 |
·普通用户功能模块 | 第54-56页 |
6 结论 | 第56-57页 |
参考文献 | 第57-60页 |
攻读硕士学位期间发表的论文 | 第60-61页 |
致谢 | 第61-63页 |