| 摘要 | 第5-6页 |
| ABSTRACT | 第6-7页 |
| 缩略语对照表 | 第10-14页 |
| 第一章 绪论 | 第14-18页 |
| 1.1 研究背景和需求 | 第14-15页 |
| 1.2 论文的主要工作内容及意义 | 第15-18页 |
| 第二章 相关技术基础 | 第18-24页 |
| 2.1 HDFS简介 | 第18-19页 |
| 2.2 MapReduce简介 | 第19-21页 |
| 2.2.1 MapReduce作业的生命周期 | 第19-21页 |
| 2.3 HBase简介 | 第21-24页 |
| 2.3.1 HBase存储框架 | 第21-23页 |
| 2.3.2 HBase数据模型 | 第23-24页 |
| 第三章 HBase入库优化 | 第24-36页 |
| 3.1 表的结构及rowkey设计 | 第24-26页 |
| 3.2 HBase参数调优 | 第26-27页 |
| 3.2.1 合理设置HRegion大小 | 第26页 |
| 3.2.2 减少更新阻塞 | 第26-27页 |
| 3.2.3 调整HRegionServer的请求处理IO线程数 | 第27页 |
| 3.2.4 hfile.block.cache.size调整 | 第27页 |
| 3.2.5 调整调整MemStore内存大小 | 第27页 |
| 3.3 使用HBase API写入时的优化 | 第27-28页 |
| 3.4 HRegion预分区 | 第28-29页 |
| 3.5 通过MapReduce和BlukLoad入库提升写入速度 | 第29-33页 |
| 3.6 使用sqoop工具导入 | 第33-36页 |
| 3.6.1 sqoop架构 | 第33页 |
| 3.6.2 程序实现sqoop导入功能 | 第33-36页 |
| 第四章 物流数据挖掘算法的设计与实现 | 第36-56页 |
| 4.1 区域车辆密集程度统计 | 第36-44页 |
| 4.1.1 利用SQL Server建立行政区域地图的空间数据库 | 第36-41页 |
| 4.1.2 四叉树查询地理信息 | 第41-43页 |
| 4.1.3 主程序的设计 | 第43-44页 |
| 4.2 加油站经过车辆统计 | 第44-49页 |
| 4.2.1 算法设计 | 第44-46页 |
| 4.2.2 定制writeable类实现排序 | 第46-49页 |
| 4.2.3 程序执行步骤： | 第49页 |
| 4.3 挖掘某条道路行驶车辆 | 第49-52页 |
| 4.3.1 算法步骤与实现 | 第50-52页 |
| 4.4 MapReduce参数优化 | 第52-56页 |
| 4.4.1 设置合理的slot数量 | 第52页 |
| 4.4.2 规划合理的任务数量 | 第52页 |
| 4.4.3 调整环形缓冲区大小 | 第52-53页 |
| 4.4.4 调整mapreduce.task.io.sort.factor | 第53页 |
| 4.4.5 使用压缩算法 | 第53页 |
| 4.4.6 调整combine运行时机 | 第53页 |
| 4.4.7 调整map输出复制到reduce所使用的线程数量 | 第53-54页 |
| 4.4.8 增加输入文件副本数 | 第54页 |
| 4.4.9 增加磁盘块 | 第54-56页 |
| 第五章 实验测试 | 第56-70页 |
| 5.1 Hadoop平台的搭建 | 第56-60页 |
| 5.1.1 配置hosts文件 | 第56页 |
| 5.1.2 SSH无密码验证配置 | 第56-57页 |
| 5.1.3 Java环境安装 | 第57页 |
| 5.1.4 Hadoop集群安装 | 第57-60页 |
| 5.2 车载信息挖掘算法的实验测试及分析 | 第60-66页 |
| 5.2.1 区域车辆数量统计 | 第60-63页 |
| 5.2.2 加油站经过车辆数量统计 | 第63-64页 |
| 5.2.3 经过给定线路的车辆数量统计 | 第64-66页 |
| 5.3 HBase性能提升测试： | 第66-70页 |
| 5.3.1 HBase导入优化 | 第66-70页 |
| 第六章 总结和展望 | 第70-72页 |
| 6.1 总结 | 第70-71页 |
| 6.2 展望 | 第71-72页 |
| 参考文献 | 第72-74页 |
| 致谢 | 第74-76页 |
| 作者简介 | 第76-77页 |
| 1.基本情况 | 第76页 |
| 2.教育背景 | 第76-77页 |
