摘要 | 第1-5页 |
ABSTRACT | 第5-9页 |
第一章 绪论 | 第9-16页 |
·课题背景 | 第9-12页 |
·Google 文件系统 GFS | 第9-10页 |
·Map/Reduce 编程模式 | 第10页 |
·Hadoop 技术背景 | 第10-12页 |
·课题研究的意义 | 第12-13页 |
·国内外研究现状 | 第13页 |
·主要研究内容及章节安排 | 第13-16页 |
·论文主要研究内容 | 第13-14页 |
·论文结构 | 第14-16页 |
第二章 Hadoop 平台下相关技术概述 | 第16-21页 |
·Hadoop 云计算系统 | 第16-17页 |
·集群作业调度的关键技术 | 第17-20页 |
·作业调度的分类 | 第17-18页 |
·作业调度策略 | 第18-19页 |
·作业类型及调度方案 | 第19-20页 |
·本章小结 | 第20-21页 |
第三章 Hadoop 平台下处理模型的深入剖析 | 第21-36页 |
·Hadoop 分布式文件系统 | 第21-25页 |
·HDFS 的存储块 | 第21-22页 |
·名称节点和数据节点 | 第22页 |
·数据流 | 第22-24页 |
·网络拓扑 | 第24-25页 |
·Hadoop 的 I/O | 第25-28页 |
·文件读取类 | 第25-27页 |
·文件输出类 | 第27-28页 |
·MapReduce 的工作原理 | 第28-34页 |
·MapReduce 的类型与格式 | 第28-29页 |
·输入分片格式 | 第29-30页 |
·MapReduce 的工作流程 | 第30-31页 |
·MapTask 和 ReduceTask | 第31-34页 |
·本章小结 | 第34-36页 |
第四章 处理模型中调度算法的研究及改进 | 第36-62页 |
·默认的调度器 FIFO | 第36页 |
·算法设计思想 | 第36页 |
·算法优缺点 | 第36页 |
·计算能力调度器 Capacity Scheduler | 第36-38页 |
·算法特点 | 第36-37页 |
·算法实现过程 | 第37页 |
·计算能力调度算法的不足 | 第37-38页 |
·公平调度器 Fair Scheduler | 第38-42页 |
·算法设计思想 | 第38页 |
·算法实现过程 | 第38页 |
·公平份额调度算法存在的不足 | 第38-39页 |
·相关算法 | 第39-42页 |
·改进的调度算法 | 第42-61页 |
·红黑树的性质 | 第42页 |
·红黑树的基本操作 | 第42-47页 |
·基于红黑树的分层调度算法(HSBRB) | 第47-61页 |
·本章小结 | 第61-62页 |
第五章 海量日志数据的处理及性能分析 | 第62-75页 |
·Hadoop 集群平台的搭建 | 第62-66页 |
·开发环境的配置 | 第62页 |
·Hadoop 平台的搭建 | 第62-66页 |
·海量日志数据的处理 | 第66-70页 |
·获取专利数据 | 第66-67页 |
·构建 MapReduce 程序 | 第67-70页 |
·实验验证与结果分析 | 第70-74页 |
·作业调度的衡量指标 | 第70页 |
·性能比较实验 | 第70-74页 |
·实验结论 | 第74页 |
·本章小结 | 第74-75页 |
第六章 总结与展望 | 第75-77页 |
·论文工作总结 | 第75-76页 |
·今后工作展望 | 第76-77页 |
参考文献 | 第77-80页 |
致谢 | 第80-81页 |
攻读学位期间的研究成果 | 第81页 |