实时分布式Web日志分析系统的设计与实现
| 摘要 | 第5-7页 |
| ABSTRACT | 第7-8页 |
| 第一章 绪论 | 第16-22页 |
| 1.1 研究背景与意义 | 第16-18页 |
| 1.2 国内外研究现状与发展趋势 | 第18-19页 |
| 1.3 研究内容 | 第19-20页 |
| 1.4 论文结构与内容安排 | 第20-22页 |
| 第二章 分布式计算平台技术现状 | 第22-32页 |
| 2.1 分布式系统概述 | 第22-27页 |
| 2.1.1 分布式系统定义 | 第22-23页 |
| 2.1.2 分布式系统体系结构 | 第23-26页 |
| 2.1.3 分布式系统通信模型 | 第26-27页 |
| 2.2 Hadoop基本结构 | 第27-30页 |
| 2.2.1 Map Reduce计算模型 | 第27-30页 |
| 2.2.2 HDFS架构 | 第30页 |
| 2.3 本章小结 | 第30-32页 |
| 第三章 日志分析系统需求分析 | 第32-36页 |
| 3.1 设计目标 | 第32页 |
| 3.2 系统需求分析 | 第32-35页 |
| 3.2.1 功能性需求 | 第32-34页 |
| 3.2.2 非功能性需求 | 第34-35页 |
| 3.3 本章小结 | 第35-36页 |
| 第四章 日志分析系统的设计 | 第36-52页 |
| 4.1 系统架构设计 | 第36-37页 |
| 4.2 系统功能模块设计 | 第37-48页 |
| 4.2.1 日志模型管理模块设计 | 第37-38页 |
| 4.2.2 日志采集模块设计 | 第38-39页 |
| 4.2.3 配置管理模块设计 | 第39-41页 |
| 4.2.4 计算模块设计 | 第41-44页 |
| 4.2.5 Key-Value存储模块设计 | 第44-46页 |
| 4.2.6 Web展现设计 | 第46-48页 |
| 4.3 数据处理流程设计 | 第48-51页 |
| 4.3.2 配置流 | 第48-49页 |
| 4.3.3 计算流 | 第49-50页 |
| 4.3.4 查询流 | 第50-51页 |
| 4.4 本章小结 | 第51-52页 |
| 第五章 日志分析系统的实现 | 第52-76页 |
| 5.1 日志模型管理模块实现 | 第52-53页 |
| 5.2 日志采集模块的实现 | 第53-56页 |
| 5.3 日志计算模块的实现 | 第56-70页 |
| 5.3.1 Job Manager任务调度中心 | 第57-60页 |
| 5.3.2 Reduce任务执行层 | 第60-66页 |
| 5.3.3 Map任务执行层 | 第66-70页 |
| 5.4 Key-Value存储模块的实现 | 第70-73页 |
| 5.5 Web展示模块的实现 | 第73-75页 |
| 5.6 本章小结 | 第75-76页 |
| 第六章 系统测试与分析 | 第76-88页 |
| 6.1 测试环境配置 | 第76-77页 |
| 6.2 实验场景设计 | 第77-82页 |
| 6.2.1 网站首页访问量统计 | 第77-80页 |
| 6.2.2 日志分析耗时 | 第80-82页 |
| 6.3 测试结果与分析 | 第82-87页 |
| 6.3.1 网站首页访问量 | 第82-85页 |
| 6.3.2 Mapper并行度分析 | 第85-86页 |
| 6.3.3 日志分析耗时对比 | 第86-87页 |
| 6.4 本章小结 | 第87-88页 |
| 第七章 结束语 | 第88-90页 |
| 7.1 全文总结及主要贡献 | 第88页 |
| 7.2 下一步工作建议 | 第88-90页 |
| 致谢 | 第90-91页 |
| 参考文献 | 第91-95页 |
| 个人简历 | 第95-96页 |
| 攻硕期间取得的研究成果 | 第96-97页 |
| 学位论文评审后修改说明表 | 第97-98页 |
