致谢 | 第5-6页 |
摘要 | 第6-7页 |
ABSTRACT | 第7-8页 |
1 引言 | 第11-18页 |
1.1 研究背景及目的 | 第11-12页 |
1.2 研究现状 | 第12-15页 |
1.2.1 大数据研究现状 | 第12-14页 |
1.2.2 出租车数据应用研究现状 | 第14-15页 |
1.3 论文内容 | 第15-16页 |
1.4 论文结构 | 第16-18页 |
2 数据挖掘及聚类算法 | 第18-29页 |
2.1 数据挖掘 | 第18-22页 |
2.1.1 数据挖掘概念及分类 | 第18页 |
2.1.2 数据挖掘的过程 | 第18-21页 |
2.1.3 数据挖掘的主要功能 | 第21-22页 |
2.2 聚类算法 | 第22-28页 |
2.2.1 聚类算法概述 | 第22-23页 |
2.2.2 聚类算法主要分类 | 第23-25页 |
2.2.3 K-Means聚类算法 | 第25-28页 |
2.3 本章小结 | 第28-29页 |
3 大数据平台搭建 | 第29-42页 |
3.1 大数据平台-Hadoop | 第29-36页 |
3.1.1 Hadoop概述 | 第29-31页 |
3.1.2 分布式文件系统HDFS | 第31-33页 |
3.1.3 并行计算架构MapReduce | 第33-36页 |
3.2 实验室环境下Hadoop集群搭建 | 第36-39页 |
3.2.1 Hadoop硬件环境部署 | 第36-37页 |
3.2.2 Hadoop软件环境部署 | 第37-39页 |
3.3 系统性能分析测试 | 第39-41页 |
3.3.1 排序实验 | 第40页 |
3.3.2 检索实验 | 第40-41页 |
3.4 本章小结 | 第41-42页 |
4 出租车大数据的预处理 | 第42-52页 |
4.1 北京市出租车数据格式介绍 | 第42-43页 |
4.2 北京市出租车数据预处理 | 第43-51页 |
4.2.1 出租车原始数据上传 | 第44-46页 |
4.2.2 出租车原始数据清洗 | 第46-48页 |
4.2.3 出租车数据二次排序处理 | 第48-51页 |
4.3 本章小结 | 第51-52页 |
5 基于Hadoop平台的热点区域挖掘及可视化 | 第52-65页 |
5.1 基于Hadoop平台的聚类算法实现和热点区域挖掘 | 第52-60页 |
5.1.1 K-Means算法的MapReduce并行化设计实现 | 第52-56页 |
5.1.2 算法并行性能分析 | 第56-58页 |
5.1.3 出租车载客热点区域挖掘 | 第58-60页 |
5.2 ArcGIS出租车载客热点区域可视化 | 第60-64页 |
5.2.1 ArcGIS电子地图平台 | 第60页 |
5.2.2 载客热点的可视化及分析 | 第60-64页 |
5.3 本章小结 | 第64-65页 |
6 总结与展望 | 第65-67页 |
6.1 总结 | 第65页 |
6.2 展望 | 第65-67页 |
参考文献 | 第67-70页 |
作者简历 | 第70-72页 |
学位论文数据集 | 第72页 |