摘要 | 第4-5页 |
Abstract | 第5页 |
第1章 引言 | 第8-12页 |
1.1 研究背景及意义 | 第8-9页 |
1.2 国内外研究现状 | 第9-10页 |
1.3 论文研究内容和主要工作 | 第10-11页 |
1.4 论文组织结构 | 第11-12页 |
第2章 Hadoop技术分析 | 第12-23页 |
2.1 HADOOP系统架构的组成 | 第12-17页 |
2.1.1 hdfs文件系统 | 第12-14页 |
2.1.2 分布式计算框架MapReduce | 第14-15页 |
2.1.3 Yarn | 第15-17页 |
2.2 APACHE ZOOKEEPER | 第17-18页 |
2.3 分布式数据仓库HIVE | 第18-20页 |
2.4 数据传导SQOOP | 第20-21页 |
2.5 本章小结 | 第21-23页 |
第3章 Mahout K-means聚类算法 | 第23-28页 |
3.1 聚类分析 | 第23-25页 |
3.1.1 聚类分析定义 | 第23页 |
3.1.2 k-means聚类算法 | 第23-25页 |
3.2 机器学习MAHOUT | 第25页 |
3.3 KMEANS聚类MAHOUT的实现 | 第25-27页 |
3.4 本章小结 | 第27-28页 |
第4章 位置数据预处理 | 第28-43页 |
4.1 拼车问题分析 | 第28-29页 |
4.1.1 需求分析 | 第28页 |
4.1.2 拼车问题研究 | 第28-29页 |
4.2 大数据分析平台的部署 | 第29-35页 |
4.2.1 系统级配置环境 | 第30页 |
4.2.2 搭建zookeeper | 第30页 |
4.2.3 Hadoop集群部署 | 第30-33页 |
4.2.4 安装数据仓库hive | 第33-34页 |
4.2.5 安装mahout | 第34页 |
4.2.6 安装数据传导工具sqoop | 第34-35页 |
4.3 位置大数据的分布式预处理 | 第35-42页 |
4.3.1 位置数据描述 | 第35-36页 |
4.3.2 数据载入 | 第36-37页 |
4.3.3 数据清洗 | 第37-42页 |
4.4 本章小结 | 第42-43页 |
第5章 位置大数据的拼车分析 | 第43-55页 |
5.1 全程拼车的路线分析 | 第43-49页 |
5.1.1 基于MapReduce的位置数据预处理 | 第43-47页 |
5.1.2 时空分析流程 | 第47-48页 |
5.1.3 mahout kmeans聚类执行流程 | 第48-49页 |
5.2 中途拼车的路线分析 | 第49-54页 |
5.2.1 基于改进的豪斯多夫距离的乘客匹配算法 | 第50-52页 |
5.2.2 基于匹配度的聚类算法 | 第52-54页 |
5.3 本章小结 | 第54-55页 |
第6章 总结与展望 | 第55-57页 |
6.1 总结 | 第55页 |
6.2 展望 | 第55-57页 |
参考文献 | 第57-61页 |
致谢 | 第61-62页 |
附录 | 第62页 |