| 摘要 | 第4-5页 |
| ABSTRACT | 第5-6页 |
| 第一章 绪论 | 第9-13页 |
| 1.1 课题背景 | 第9-10页 |
| 1.2 主要工作内容 | 第10-11页 |
| 1.3 论文结构 | 第11-13页 |
| 第二章 海量数据处理技术研究现状 | 第13-26页 |
| 2.1 MAPREDUCE简介 | 第13-19页 |
| 2.1.1 工作原理 | 第13-14页 |
| 2.1.2 产业应用 | 第14-15页 |
| 2.1.3 优势 | 第15-16页 |
| 2.1.4 不足 | 第16-19页 |
| 2.2 研究现状 | 第19-26页 |
| 2.2.1 MapReduce应用算法研究 | 第20-21页 |
| 2.2.2 高层脚本语言设计 | 第21-22页 |
| 2.2.3 模型优化 | 第22页 |
| 2.2.4 其他海量数据处理模型 | 第22-26页 |
| 第三章 HADOOP系统MAPREDUCE模块源码分析 | 第26-36页 |
| 3.1 代码结构概述 | 第26-27页 |
| 3.2 集群启动流程 | 第27-29页 |
| 3.3 作业执行流程 | 第29-36页 |
| 3.3.1 任务下发与调度 | 第30-32页 |
| 3.3.2 任务的初始化 | 第32页 |
| 3.3.3 任务的执行 | 第32-36页 |
| 第四章 泛MR的设计原理 | 第36-43页 |
| 4.1 计算流程 | 第36-39页 |
| 4.2 动态分配 | 第39-42页 |
| 4.3 远程COMBINER | 第42-43页 |
| 第五章 泛MR系统的实现 | 第43-62页 |
| 5.1 概述 | 第43-45页 |
| 5.2 作业描述模块 | 第45-48页 |
| 5.2.1 DataFlow类 | 第46-47页 |
| 5.2.2 FunctionInfo类 | 第47-48页 |
| 5.2.3 JobConf类 | 第48页 |
| 5.3 流程控制模块 | 第48-55页 |
| 5.3.1 流程计算模块 | 第51-52页 |
| 5.3.2 JobTracker类 | 第52-54页 |
| 5.3.3 JobQueueTaskScheduler类 | 第54页 |
| 5.3.4 JobIn Progess类 | 第54-55页 |
| 5.4 任务执行模块 | 第55-61页 |
| 5.4.1 基本原理 | 第55-56页 |
| 5.4.2 模块内部结构和处理流程 | 第56-58页 |
| 5.4.3 模块类图及需修改部分定位 | 第58-61页 |
| 5.5 动态分配模块 | 第61-62页 |
| 第六章 泛MR系统性能测试 | 第62-75页 |
| 6.1 测试环境 | 第62页 |
| 6.2 计算流程性能测试 | 第62-71页 |
| 6.2.1 聚合计算性能测试 | 第62-65页 |
| 6.2.2 分支计算性能测试 | 第65-68页 |
| 6.2.3 级联计算性能测试 | 第68-71页 |
| 6.3 动态分配性能测试 | 第71-73页 |
| 6.3.1 指标设计 | 第71-72页 |
| 6.3.2 测试用例设计与分析 | 第72页 |
| 6.3.3 测试用例清单 | 第72-73页 |
| 6.3.4 测试结果及分析 | 第73页 |
| 6.4 远程COMBINER性能测试 | 第73-75页 |
| 6.4.1 测试用例设计与分析 | 第74页 |
| 6.4.2 测试用例清单 | 第74页 |
| 6.4.3 测试结果及分析 | 第74-75页 |
| 第七章 总结与展望 | 第75-76页 |
| 参考文献 | 第76-79页 |
| 致谢 | 第79-80页 |
| 攻读硕士期间发表的文章及研发成果 | 第80页 |
| 个人简历 | 第80页 |
| 攻读硕士期间发表和录用文章 | 第80页 |
| 科研经历 | 第80页 |