摘要 | 第3-5页 |
ABSTRACT | 第5-6页 |
第一章 绪论 | 第9-13页 |
1.1 研究背景及意义 | 第9-10页 |
1.2 国内外研究现状 | 第10-11页 |
1.3 研究目标及内容 | 第11-12页 |
1.4 本文章节安排 | 第12-13页 |
第二章 系统需求分析及架构设计 | 第13-25页 |
2.1 系统需求分析 | 第13-17页 |
2.1.1 交通物流大数据处理业务概述 | 第13页 |
2.1.2 交通物流大数据处理面临的问题 | 第13-14页 |
2.1.3 交通物流大数据处理系统的功能性需求 | 第14-17页 |
2.2 系统架构设计 | 第17-24页 |
2.2.1 交通物流大数据处理系统的设计目标 | 第17页 |
2.2.2 功能视图 | 第17-19页 |
2.2.3 逻辑视图 | 第19-22页 |
2.2.4 部署视图 | 第22-23页 |
2.2.5 系统的实现环境 | 第23-24页 |
2.3 本章小结 | 第24-25页 |
第三章 支持部分并行的 MAPREDUCE 工作流执行优化 | 第25-53页 |
3.1 MAPREDUCE 作业执行框架及 OOZIE 工作流引擎技术剖析 | 第25-33页 |
3.1.1 MapReduce 作业提交及初始化过程分析 | 第25-29页 |
3.1.2 MapReduce 任务调度分析 | 第29-31页 |
3.1.3 Oozie 工作流引擎技术剖析 | 第31-33页 |
3.2 优化方案的设计与实现 | 第33-48页 |
3.2.1 MapReduce 工作流执行效率分析 | 第33-34页 |
3.2.2 优化方案基本思路 | 第34-35页 |
3.2.3 优化方案设计 | 第35-41页 |
3.2.4 优化方案实现 | 第41-48页 |
3.3 实验验证 | 第48-52页 |
3.3.1 实验环境 | 第48-49页 |
3.3.2 实验设计 | 第49页 |
3.3.3 实验结果及分析 | 第49-52页 |
3.4 本章小结 | 第52-53页 |
第四章 核心模块的设计与实现 | 第53-67页 |
4.1 数据处理组件集成开发环境 | 第53-58页 |
4.1.1 组件开发环境 | 第53-54页 |
4.1.2 测试沙箱管理模块 | 第54-56页 |
4.1.3 测试沙箱连接器 | 第56-58页 |
4.2 测试沙箱系统 | 第58-62页 |
4.2.1 测试沙箱代理服务器 | 第58-61页 |
4.2.2 测试沙箱分配模块 | 第61-62页 |
4.3 集群监控工具 | 第62-64页 |
4.4 服务接口层 | 第64-65页 |
4.5 本章小结 | 第65-67页 |
第五章 系统验证及应用 | 第67-77页 |
5.1 系统测试 | 第67-70页 |
5.1.1 功能测试 | 第67-68页 |
5.1.2 性能测试 | 第68-70页 |
5.2 系统应用 | 第70-76页 |
5.2.1 运行实例 | 第70-75页 |
5.2.2 应用效果及分析 | 第75-76页 |
5.3 本章小结 | 第76-77页 |
第六章 总结与展望 | 第77-79页 |
6.1 工作总结 | 第77-78页 |
6.2 下一步工作 | 第78-79页 |
参考文献 | 第79-83页 |
附录 | 第83-87页 |
致谢 | 第87-89页 |
攻读硕士学位期间已发表的学术论文 | 第89-91页 |