摘要 | 第4-5页 |
ABSTRACT | 第5-6页 |
第一章 绪论 | 第9-13页 |
1.1 论文研究背景及意义 | 第9-10页 |
1.2 Hadoop平台在车辆监控系统中的应用现状 | 第10-11页 |
1.2.1 车辆监控系统发展现状 | 第10页 |
1.2.2 Hadoop在数据分析中的应用情况 | 第10-11页 |
1.3 主要研究内容 | 第11-12页 |
1.4 论文组织结构安排 | 第12-13页 |
第二章 Hadoop分布式计算平台 | 第13-20页 |
2.1 Hadoop分布式计算平台 | 第13-14页 |
2.1.1 Hadoop分布式计算平台简介 | 第13页 |
2.1.2 Hadoop的特点及子项目 | 第13-14页 |
2.2 HDFS分布式文件系统 | 第14-15页 |
2.2.1 HDFS的设计原则 | 第14页 |
2.2.2 HDFS的基础架构 | 第14-15页 |
2.2.3 HDFS的特点性能分析 | 第15页 |
2.3 MapReduce分布式编程模型 | 第15-17页 |
2.3.1 MapReduce编程模型 | 第16页 |
2.3.2 MapReduce基础架构 | 第16-17页 |
2.3.3 MapReduce执行流程 | 第17页 |
2.4 Hadoop与传统数据库在海量数据处理方面的比较 | 第17-19页 |
2.4.1 Hadoop的应用现状 | 第17-18页 |
2.4.2 Hadoop在车辆监控数据处理方面的优势 | 第18-19页 |
2.5 本章小结 | 第19-20页 |
第三章 基于Hadoop平台的车辆监控系统数据分析的技术研究 | 第20-27页 |
3.1 Hive数据仓库框架 | 第20-23页 |
3.1.1 Hive简介 | 第20页 |
3.1.2 Hive基本架构 | 第20-21页 |
3.1.3 Hive与传统数据库的比较 | 第21-22页 |
3.1.4 基于Hive数据仓库框架的数据分析 | 第22-23页 |
3.2 Pig大规模数据分析平台 | 第23-25页 |
3.2.1 Pig简介 | 第23页 |
3.2.2 Pig Latin语言 | 第23-24页 |
3.2.3 Pig基础架构及执行流程 | 第24-25页 |
3.2.4 Pig特点及在大规模数据分析中的应用 | 第25页 |
3.3 Hive与Pig在车辆监控系统数据分析中的应用研究 | 第25-26页 |
3.4 本章小结 | 第26-27页 |
第四章 基于Hadoop分布式平台的车辆监控系统数据分析的设计 | 第27-50页 |
4.1 车辆监控系统的分析与设计 | 第27-29页 |
4.1.1 设计目标 | 第27-28页 |
4.1.2 总体架构 | 第28-29页 |
4.2 监控平台的设计与实现 | 第29-32页 |
4.2.1 设计标准及原则 | 第29-30页 |
4.2.2 架构设计及功能分析 | 第30-31页 |
4.2.3 平台实现 | 第31-32页 |
4.3 基于Hive数据仓库的车辆监控系统数据分析的设计 | 第32-47页 |
4.3.1 设计原则及体系架构 | 第32-33页 |
4.3.2 Hive数据源分析 | 第33-37页 |
4.3.3 多维分析的设计 | 第37-38页 |
4.3.4 数据模型分析与设计 | 第38-44页 |
4.3.5 数据仓库粒度的选择 | 第44-45页 |
4.3.6 ETL的设计 | 第45-46页 |
4.3.7 元数据设计 | 第46-47页 |
4.4 基于Pig的车辆监控系统数据的快速分析设计 | 第47-49页 |
4.4.1 Pig工作模式及特点 | 第47页 |
4.4.2 Pig在数据处理分析中的优势 | 第47-48页 |
4.4.3 Pig的集成及在车辆监控系统数据分析中的应用 | 第48-49页 |
4.5 本章小结 | 第49-50页 |
第五章 系统搭建与结果分析 | 第50-58页 |
5.1 系统搭建 | 第50-52页 |
5.1.1 系统软硬件需求配置 | 第50-51页 |
5.1.2 Hadoop分布式平台的搭建 | 第51页 |
5.1.3 Hive数据仓库的集成 | 第51-52页 |
5.1.4 Pig平台的集成 | 第52页 |
5.2 系统测试 | 第52-57页 |
5.2.1 数据源分析 | 第52页 |
5.2.2 ETL过程建立 | 第52-53页 |
5.2.3 测试结果分析 | 第53-55页 |
5.2.4 性能比对 | 第55-57页 |
5.3 本章小结 | 第57-58页 |
第六章 总结与展望 | 第58-60页 |
6.1 总结 | 第58-59页 |
6.2 展望 | 第59-60页 |
参考文献 | 第60-63页 |
致谢 | 第63-64页 |
攻读学位期间发表的学术论文目录 | 第64页 |