| 摘要 | 第4-5页 |
| ABSTRACT | 第5页 |
| 第一章 绪论 | 第10-13页 |
| 1.1 研究背景及意义 | 第10-11页 |
| 1.2 研究工作 | 第11页 |
| 1.3 论文结构 | 第11-13页 |
| 第二章 背景介绍 | 第13-17页 |
| 2.1 通用日志系统 | 第13页 |
| 2.2 日志系统发展现状 | 第13-15页 |
| 2.2.1 Scribe | 第13-14页 |
| 2.2.2 Chukwa | 第14页 |
| 2.2.3 Flume | 第14-15页 |
| 2.3 离线计算与实时计算 | 第15-16页 |
| 2.4 本章小结 | 第16-17页 |
| 第三章 分布式日志系统设计 | 第17-34页 |
| 3.1 分布式日志系统需求分析 | 第17-18页 |
| 3.1.1 分布式日志系统特性 | 第17页 |
| 3.1.2 分布式日志系统处理流程 | 第17页 |
| 3.1.3 分布式日志系统功能需求和性能需求 | 第17-18页 |
| 3.2 分布式日志系统总体设计 | 第18-19页 |
| 3.3 分布式日志系统各模块设计 | 第19-33页 |
| 3.3.1 数据收集模块 | 第19页 |
| 3.3.2 数据接收模块 | 第19-23页 |
| 3.3.3 数据分析模块 | 第23-27页 |
| 3.3.4 数据存储模块 | 第27-29页 |
| 3.3.5 数据查询模块 | 第29-32页 |
| 3.3.6 数据分析缓存模块 | 第32-33页 |
| 3.3.7 数据鉴权开放接口模块 | 第33页 |
| 3.4 本章小结 | 第33-34页 |
| 第四章 分布式日志系统实现 | 第34-54页 |
| 4.1 数据收集模块 | 第34-37页 |
| 4.1.1 日志数据结构 | 第34-35页 |
| 4.1.2 日志客户端并发编程容器 | 第35-36页 |
| 4.1.3 日志采集客户端SDK | 第36页 |
| 4.1.4 日志采集HTTP API | 第36-37页 |
| 4.2 数据接收模块 | 第37-40页 |
| 4.2.1 初始化Kafka生产者连接 | 第37-38页 |
| 4.2.2 Kafka数据生产者 | 第38页 |
| 4.2.3 日志数据序列化 | 第38-39页 |
| 4.2.4 Kafka数据消费者 | 第39-40页 |
| 4.2.5 数据的反序列化 | 第40页 |
| 4.3 数据分析模块 | 第40-42页 |
| 4.3.1 Storm的拓扑 | 第40-42页 |
| 4.3.2 存储到HBase表的实现 | 第42页 |
| 4.4 数据存储模块 | 第42-45页 |
| 4.4.1 HBase表设计实现 | 第43-44页 |
| 4.4.2 HBase存储实现 | 第44-45页 |
| 4.5 数据查询模块 | 第45-48页 |
| 4.5.1 数据查询web接口 | 第46-47页 |
| 4.5.2 HBase服务端查询实现 | 第47-48页 |
| 4.6 数据分析缓存模块 | 第48页 |
| 4.7 数据鉴权开放接口模块 | 第48-53页 |
| 4.7.1 MVC拦截器 | 第49-50页 |
| 4.7.2 认证拦截器实现 | 第50-51页 |
| 4.7.3 SDK方式接口说明 | 第51-52页 |
| 4.7.4 HTTP方式接口说明 | 第52-53页 |
| 4.8 本章小结 | 第53-54页 |
| 第五章 分布式日志系统测试 | 第54-68页 |
| 5.1 测试目标 | 第54页 |
| 5.2 测试环境 | 第54-60页 |
| 5.2.1 软硬件配置 | 第54-55页 |
| 5.2.2 Hadoop安装 | 第55-56页 |
| 5.2.3 HBase安装 | 第56页 |
| 5.2.4 Kafka安装 | 第56-57页 |
| 5.2.5 Storm安装 | 第57-60页 |
| 5.2.6 启动分布式日志系统服务 | 第60页 |
| 5.3 测试方案 | 第60-67页 |
| 5.3.1 功能测试用例 | 第60-64页 |
| 5.3.2 非功能测试用例 | 第64-67页 |
| 5.4 本章小结 | 第67-68页 |
| 第六章 基于分布式日志系统的开发实例 | 第68-78页 |
| 6.1 IDC评估系统的数据处理子系统设计 | 第68-70页 |
| 6.1.1 项目背景简介 | 第68页 |
| 6.1.2 IDC评估系统中数据处理面临的挑战 | 第68-69页 |
| 6.1.3 IDC评估系统中数据处理子系统体系结构 | 第69-70页 |
| 6.2 IDC评估系统数据处理子系统实现 | 第70-74页 |
| 6.2.1 IDC评估系统数据模型 | 第70-71页 |
| 6.2.2 网络监测客户端 | 第71-72页 |
| 6.2.3 数据提交客户端 | 第72-73页 |
| 6.2.4 IDC评估系统数据分析 | 第73-74页 |
| 6.3 IDC评估系统数据处理子系统测试 | 第74-77页 |
| 6.3.1 测试数据量预估 | 第74-75页 |
| 6.3.2 测试结果 | 第75-76页 |
| 6.3.3 IDC评估系统数据结果展示 | 第76-77页 |
| 6.4 本章小结 | 第77-78页 |
| 第七章 结束语 | 第78-80页 |
| 7.1 论文总结 | 第78页 |
| 7.2 下一步研究工作 | 第78-80页 |
| 参考文献 | 第80-81页 |
| 附录 缩略语 | 第81-82页 |
| 致谢 | 第82-83页 |
| 作者攻读学位期间发表的学术论文目录 | 第83页 |