基于hadoop的海量搜索日志分析平台的设计和实现
| 摘要 | 第1-5页 |
| Abstract | 第5-9页 |
| 1 绪论 | 第9-13页 |
| ·研究背景及意义 | 第9-10页 |
| ·国内外相关研究 | 第10-11页 |
| ·论文主要工作 | 第11-12页 |
| ·论文结构 | 第12-13页 |
| 2 相关技术介绍 | 第13-21页 |
| ·Hadoop概述 | 第13-18页 |
| ·Hadoop介绍 | 第13页 |
| ·HDFS介绍 | 第13-16页 |
| ·MapReduce介绍 | 第16-18页 |
| ·Hive概述 | 第18-19页 |
| ·Hive架构介绍 | 第18-19页 |
| ·Hive优点 | 第19页 |
| ·HBase概述 | 第19-21页 |
| 3 海量搜索日志分析概述 | 第21-25页 |
| ·需求分析 | 第21-22页 |
| ·开发背景与目的 | 第21页 |
| ·功能需求分析 | 第21-22页 |
| ·搜索日志常见模型 | 第22-25页 |
| ·二分图模型 | 第22-23页 |
| ·图模型 | 第23-24页 |
| ·随机游走模型 | 第24-25页 |
| 4 海量搜索日志分析平台的设计与实现 | 第25-47页 |
| ·平台总体架构和模块设计 | 第25-26页 |
| ·平台数据采集预处理模块详细设计 | 第26-31页 |
| ·数据采集模块 | 第26-29页 |
| ·数据预处理模块 | 第29-31页 |
| ·海量日志存储模块详细设计 | 第31-34页 |
| ·设计目标 | 第31-32页 |
| ·存储模块的结构设计 | 第32-34页 |
| ·海量日志分析模块详细设计 | 第34-39页 |
| ·日志分析计算模型 | 第34-35页 |
| ·基于用户行为模式挖掘的设计 | 第35-39页 |
| ·平台监控模块详细设计 | 第39-47页 |
| ·集群管理器的设计 | 第39-42页 |
| ·配置管理器的设计 | 第42-47页 |
| 5 平台测试与数据分析 | 第47-60页 |
| ·实验环境配置部署 | 第47-49页 |
| ·hadoop集群安装部署 | 第47-48页 |
| ·hive安装配置 | 第48-49页 |
| ·数据处理 | 第49-56页 |
| ·数据去重复分析处理 | 第50-51页 |
| ·搜索结果相似度度量分析 | 第51-52页 |
| ·查询主题排行分析处理 | 第52-54页 |
| ·用户点击url排名分析处理 | 第54-56页 |
| ·实验结果分析 | 第56-59页 |
| ·查询主题排行榜 | 第56-57页 |
| ·用户点击数与URL排名 | 第57-58页 |
| ·查询会话分析 | 第58页 |
| ·分布式平台效率分析 | 第58-59页 |
| ·系统优化 | 第59-60页 |
| 结论 | 第60-61页 |
| 参考文献 | 第61-64页 |
| 攻读硕士学位期间发表学术论文情况 | 第64-65页 |
| 致谢 | 第65-66页 |
