摘要 | 第4-5页 |
ABSTRACT | 第5-6页 |
第一章 绪论 | 第9-15页 |
1.1 研究背景与意义 | 第9-10页 |
1.2 研究现状 | 第10-11页 |
1.2.1 分布式技术研究现状 | 第10-11页 |
1.2.2 Web日志挖掘研究现状 | 第11页 |
1.3 主要研究内容 | 第11-14页 |
1.3.1 Web日志分析系统 | 第11-12页 |
1.3.2 Hadoop集群部署到Eucalyptus | 第12-13页 |
1.3.3 Hadoop集群系统测试 | 第13-14页 |
1.4 论文结构 | 第14页 |
1.5 本章小结 | 第14-15页 |
第二章 相关技术概述 | 第15-22页 |
2.1 虚拟化技术: | 第15-16页 |
2.2 Eucalyptus | 第16-17页 |
2.2.1 Eucalyptus简介 | 第16页 |
2.2.2 Eucalyptus架构 | 第16-17页 |
2.2.3 Eucalyptus的拓扑结构 | 第17页 |
2.3 Hadoop | 第17-19页 |
2.3.1 Hadoop简介 | 第17-18页 |
2.3.2 HDFS介绍 | 第18页 |
2.3.3 MapReduce框架 | 第18-19页 |
2.4 Web日志挖掘 | 第19-20页 |
2.4.1 Web挖掘分类 | 第19-20页 |
2.4.2 Web日志挖掘流程 | 第20页 |
2.5 本章小结 | 第20-22页 |
第三章 系统需求分析与总体架构 | 第22-31页 |
3.1 引言 | 第22页 |
3.2 系统需求分析 | 第22-23页 |
3.2.1 平台需求 | 第22-23页 |
3.2.2 功能需求 | 第23页 |
3.2.3 指标需求 | 第23页 |
3.3 日志分析指标与意义 | 第23-25页 |
3.4 日志分析系统的架构设计 | 第25-27页 |
3.5 数据库设计 | 第27-30页 |
3.6 本章小结 | 第30-31页 |
第四章 日志分析系统的实现 | 第31-46页 |
4.1 引言 | 第31页 |
4.2 开源日志系统 | 第31-33页 |
4.2.1 Facebook的Scribe | 第31-32页 |
4.2.2 Apache的Chukwa | 第32-33页 |
4.3 日志分析系统的实现 | 第33-45页 |
4.3.1 数据收集模块的实现 | 第34页 |
4.3.2 存储模块的实现 | 第34-35页 |
4.3.3 日志分析模块实现 | 第35-38页 |
4.3.4 Apriori算法 | 第38-39页 |
4.3.5 MapReduce实现Apriori算法 | 第39-42页 |
4.3.6 结果展示模块实现 | 第42-45页 |
4.4 本章小结 | 第45-46页 |
第五章 基于Eucalyptus的Hadoop集群部署与系统测试 | 第46-56页 |
5.1 Eucalyptus平台Hadoop集群部署 | 第46-52页 |
5.1.1 Eucalyptus和Hadoop架构 | 第46-47页 |
5.1.2 Eucalyptus平台部署Hadoop集群 | 第47-49页 |
5.1.3 Hadoop配置参数 | 第49-50页 |
5.1.4 Hadoop集群应用试验 | 第50-52页 |
5.2 集群性能测试 | 第52-53页 |
5.3 算法运行效率测试 | 第53-55页 |
5.4 本章小结 | 第55-56页 |
第六章 总结与展望 | 第56-58页 |
6.1 工作总结 | 第56-57页 |
6.2 展望 | 第57-58页 |
参考文献 | 第58-60页 |
致谢 | 第60-61页 |
硕士期间学术成果 | 第61页 |