| 摘要 | 第5-6页 |
| Abstract | 第6页 |
| 第一章 绪论 | 第9-13页 |
| 1.1 研究背景与意义 | 第9-10页 |
| 1.2 国内外研究现状 | 第10-11页 |
| 1.3 主要工作及内容安排 | 第11-13页 |
| 第二章 相关技术介绍 | 第13-23页 |
| 2.1 Hadoop大数据平台 | 第13-18页 |
| 2.1.1 Hadoop的整体框架 | 第13-15页 |
| 2.1.2 Mapreduce编程架构 | 第15-16页 |
| 2.1.3 Mapreduce工作机制 | 第16-18页 |
| 2.2 Spark大数据平台 | 第18-21页 |
| 2.2.1 Spark结构 | 第18-20页 |
| 2.2.2 Spark架构 | 第20-21页 |
| 2.3 Storm大数据平台 | 第21-22页 |
| 2.3.1 Storm中的基本概念 | 第21-22页 |
| 2.3.2 Storm的架构概述 | 第22页 |
| 2.4 本章小结 | 第22-23页 |
| 第三章 用户搜索日志大数据平台框架设计与分析 | 第23-33页 |
| 3.1 大数据离线数据处理模块 | 第23-26页 |
| 3.1.1 Hadoop离线处理方案设计 | 第23-24页 |
| 3.1.2 Spark离线处理方案设计 | 第24-25页 |
| 3.1.3 Spark和Mapredcue比较 | 第25-26页 |
| 3.2 大数据实时数据处理模块 | 第26-28页 |
| 3.2.1 Storm实时处理方案设计 | 第26-27页 |
| 3.2.2 Spark Streaming实时处理方案设计 | 第27页 |
| 3.2.3 Storm和Spark Streaming比较 | 第27-28页 |
| 3.3 大数据处理框架综合方案设计 | 第28-32页 |
| 3.3.1 以Hadoop为主离线实时相结合方案 | 第28-29页 |
| 3.3.2 以Spark为主离线实时相结合方案 | 第29-30页 |
| 3.3.3 大数据处理框架综合方案 | 第30-32页 |
| 3.4 本章小结 | 第32-33页 |
| 第四章 搜狗用户搜狗日志实验分析 | 第33-55页 |
| 4.1 实验搭建与配置 | 第33-40页 |
| 4.2 用户搜索日志分析设计与实现 | 第40-43页 |
| 4.2.1 数据来源 | 第40-41页 |
| 4.2.2 用户搜索日志分析实验步骤 | 第41-43页 |
| 4.3 实验结果分析 | 第43-54页 |
| 4.3.1 用户搜索日志分析实验结果 | 第43-50页 |
| 4.3.2 Hadoop集群性能实验分析 | 第50-52页 |
| 4.3.3 Storm与Spark Streaming性能对比分析 | 第52-54页 |
| 4.4 本章小结 | 第54-55页 |
| 第五章 Kmeans算法实验分析 | 第55-64页 |
| 5.1 Kmeans算法 | 第55-58页 |
| 5.1.1 Kmeans算法原理 | 第55-57页 |
| 5.1.2 二分Kmeans聚类算法 | 第57-58页 |
| 5.2 Kmeans算法实现步骤 | 第58-59页 |
| 5.3 实验结果分析 | 第59-63页 |
| 5.3.1 URL返回排名和用户点击顺序 | 第59-61页 |
| 5.3.2 原始Kmeans算法与二分Kmeans算法对比分析 | 第61-62页 |
| 5.3.3 Hadoop与SparkKmeans算法性能对比分析 | 第62-63页 |
| 5.4 本章小结 | 第63-64页 |
| 第六章 总结与展望 | 第64-66页 |
| 6.1 总结 | 第64页 |
| 6.2 展望 | 第64-66页 |
| 参考文献 | 第66-69页 |
| 攻读硕士学位期间取得的研究成果 | 第69-70页 |
| 致谢 | 第70-71页 |
| 附件 | 第71页 |
