摘要 | 第3-4页 |
Abstract | 第4页 |
1 引言 | 第8-13页 |
1.1 概述 | 第8页 |
1.2 研究背景和意义 | 第8-10页 |
1.3 日志分析现状 | 第10页 |
1.3.1 传统网络日志分析方式现状 | 第10页 |
1.3.2 基于Hadoop的日志分析平台研究现状 | 第10页 |
1.4 主要研究内容 | 第10-11页 |
1.5 论文组织架构 | 第11-13页 |
2 关键技术概述 | 第13-29页 |
2.1 概述 | 第13页 |
2.2 HADOOP概述 | 第13-14页 |
2.2.1 Haoop历史概述 | 第13页 |
2.2.2 Hadoop子项目概述 | 第13-14页 |
2.3 HDFS概述 | 第14-18页 |
2.3.1 HDFS技术概述 | 第14-15页 |
2.3.2 HDFS文件读取概述 | 第15-17页 |
2.3.3 HDFS文件写入概述 | 第17-18页 |
2.4 MAPREDUCE概述 | 第18-22页 |
2.4.1 MapReduce技术概述 | 第18页 |
2.4.2 MapReduce运行模式 | 第18-19页 |
2.4.3 MapReduce框架结构 | 第19-22页 |
2.5 FLUME概述 | 第22-26页 |
2.5.1 Flume技术简介 | 第22页 |
2.5.2 Flume可靠性保障 | 第22-24页 |
2.5.3 Flume基础架构 | 第24-26页 |
2.6 HIVE概述 | 第26-28页 |
2.6.1 Hive技术简介 | 第26页 |
2.6.2 Hive基础架构 | 第26-28页 |
2.7 本章小结 | 第28-29页 |
3 系统概述与总体设计 | 第29-35页 |
3.1 概述 | 第29页 |
3.2 需求分析 | 第29-31页 |
3.3 系统框架 | 第31-34页 |
3.3.1 日志分析平台的设计思路 | 第31页 |
3.3.2 日志分析平台的层次结构 | 第31-34页 |
3.4 本章小结 | 第34-35页 |
4 平台详细设计与实现 | 第35-53页 |
4.1 概述 | 第35页 |
4.2 HADOOP环境搭建 | 第35-41页 |
4.3 数据采集层详细设计与实现 | 第41-45页 |
4.3.1 数据采集层详细设计 | 第41-42页 |
4.3.2 数据采集层的实现 | 第42-45页 |
4.4 数据处理层详细设计与实现 | 第45-49页 |
4.4.1 数据处理层详细设计 | 第45页 |
4.4.2 数据处理层实现 | 第45-49页 |
4.5 数据展示层详细设计与实现 | 第49-52页 |
4.5.1 数据展示层详细设计 | 第49页 |
4.5.2 数据展示层实现 | 第49-52页 |
4.6 接口层详细设计与实现 | 第52页 |
4.7 本章小结 | 第52-53页 |
5 项目实现 | 第53-58页 |
5.1 概述 | 第53-54页 |
5.2 项目部分功能展示 | 第54-57页 |
5.2.1 首页 | 第54-56页 |
5.2.2 校园AP使用 | 第56-57页 |
5.2.3 校园网络行为 | 第57页 |
5.3 本章小节 | 第57-58页 |
6 总结与展望 | 第58-59页 |
6.1 总结 | 第58页 |
6.2 展望 | 第58-59页 |
致谢 | 第59-60页 |
参考文献 | 第60-62页 |
作者简介 | 第62页 |