| 摘要 | 第4-5页 |
| ABSTRACT | 第5页 |
| 第1章 绪论 | 第8-15页 |
| 1.1 课题背景及研究的目的和意义 | 第8-9页 |
| 1.2 国内外研究现状 | 第9-11页 |
| 1.3 本课题研究的主要内容 | 第11-13页 |
| 1.3.1 基于Kafka构建消息队列实现数据缓存区 | 第12页 |
| 1.3.2 基于Storm构建流式处理框架 | 第12-13页 |
| 1.3.3 结合MySQL、HBase、ElasticSearch实现数据存储 | 第13页 |
| 1.3.4 基于Presto实现分布式SQL查询 | 第13页 |
| 1.4 本论文的组织结构 | 第13-15页 |
| 第2章 大数据实时处理架构需求分析 | 第15-25页 |
| 2.1 功能需求分析 | 第15-20页 |
| 2.1.1 数据处理模块 | 第15-17页 |
| 2.1.2 数据输出模块 | 第17-18页 |
| 2.1.3 需求指标数据 | 第18-20页 |
| 2.2 非功能需求分析 | 第20-21页 |
| 2.3 系统关键技术 | 第21-24页 |
| 2.3.1 构建消息队列实现并行处理 | 第21-22页 |
| 2.3.2 基于分布式内存的并行计算 | 第22-23页 |
| 2.3.3 组合式多数据源存储 | 第23页 |
| 2.3.4 查询优化 | 第23-24页 |
| 2.4 本章小结 | 第24-25页 |
| 第3章 大数据实时处理架构设计与实现 | 第25-65页 |
| 3.1 总体架构设计 | 第25-27页 |
| 3.2 技术方案及系统部署设计 | 第27-30页 |
| 3.2.1 技术方案 | 第27-29页 |
| 3.2.2 系统部署 | 第29-30页 |
| 3.3 实时数据处理流程设计 | 第30-36页 |
| 3.3.1 Worker | 第31-33页 |
| 3.3.2 Storm拓扑 | 第33-34页 |
| 3.3.3 Provider | 第34-36页 |
| 3.3.4 HTTPAPI | 第36页 |
| 3.4 数据结构的设计 | 第36-42页 |
| 3.4.1 消息设计 | 第38-41页 |
| 3.4.2 数据库表设计 | 第41-42页 |
| 3.5 核心架构实现 | 第42-61页 |
| 3.5.1 消息中间层获取数据来源 | 第42-45页 |
| 3.5.2 基础架构层进行Storm核心计算 | 第45-58页 |
| 3.5.3 JSF服务层提供面向接口的服务 | 第58-60页 |
| 3.5.4 应用支持层提供API | 第60-61页 |
| 3.6 技术难点 | 第61-62页 |
| 3.7 系统界面展示 | 第62-64页 |
| 3.8 本章小结 | 第64-65页 |
| 第4章 大数据实时处理架构测试与分析 | 第65-75页 |
| 4.1 测试方案 | 第65-66页 |
| 4.1.1 日常流量数据模拟 | 第65页 |
| 4.1.2 大促时段数据模拟 | 第65-66页 |
| 4.2 测试方法 | 第66页 |
| 4.3 测试数据 | 第66-74页 |
| 4.3.1 日常流量数据模拟 | 第66-71页 |
| 4.3.2 大促时段数据模拟 | 第71-74页 |
| 4.4 本章小结 | 第74-75页 |
| 结论 | 第75-78页 |
| 参考文献 | 第78-82页 |
| 致谢 | 第82-83页 |
| 个人简历 | 第83页 |