政府网站分布式日志存储与分析系统研究
摘要 | 第3-4页 |
Abstract | 第4页 |
第一章 绪论 | 第8-13页 |
1.1 研究背景及意义 | 第8-10页 |
1.1.1 研究背景 | 第8-9页 |
1.1.2 研究意义 | 第9-10页 |
1.2 日志分析现状 | 第10-11页 |
1.2.1 日志分析技术 | 第10-11页 |
1.2.2 电子政务日志分析国内外研究现状 | 第11页 |
1.3 本文的研究目标和研究内容 | 第11-12页 |
1.3.1 研究目标 | 第11-12页 |
1.3.2 研究内容 | 第12页 |
1.4 本文总结 | 第12-13页 |
第二章 分布式存储与并行计算相关技术介绍 | 第13-19页 |
2.1 分布式存储技术 | 第13-16页 |
2.1.1 GFS | 第13-14页 |
2.1.2 HDFS | 第14-16页 |
2.2 分布式处理技术 MapReduce | 第16-18页 |
2.3 本章总结 | 第18-19页 |
第三章 系统需求分析与总体设计 | 第19-23页 |
3.1 系统功能需求分析 | 第19-21页 |
3.1.1 系统设计目标 | 第19页 |
3.1.2 系统功能模块 | 第19-21页 |
3.2 系统总体设计 | 第21-22页 |
3.3 本章小结 | 第22-23页 |
第四章 分布式日志采集模块设计与实现 | 第23-36页 |
4.1 本地日志收集实现 | 第23-29页 |
4.1.1 前端实现 | 第24-27页 |
4.1.2 后端脚本实现 | 第27-29页 |
4.2 分布式日志收集实现 | 第29-35页 |
4.2.1 Apache Flume | 第29-31页 |
4.2.2 Agent 配置 | 第31-35页 |
4.3 本章小结 | 第35-36页 |
第五章 分布式日志存储与分析模块实现 | 第36-42页 |
5.1 分布式数据库 HBase 设计 | 第36-37页 |
5.1.1 为什么采用 HBase | 第36页 |
5.1.2 HBase 设计 | 第36-37页 |
5.2 HBase MapReduce | 第37-38页 |
5.3 分布式日志分析实现 | 第38-41页 |
5.4 本章小结 | 第41-42页 |
第六章 结论与展望 | 第42-44页 |
参考文献 | 第44-46页 |
在校期间发表的学术论文 | 第46-47页 |
致谢 | 第47页 |