| 摘要 | 第4-5页 |
| ABSTRACT | 第5-6页 |
| 第一章 绪论 | 第11-17页 |
| 1.1 研究背景 | 第11-12页 |
| 1.2 国内外研究现状及存在问题 | 第12-15页 |
| 1.2.1 研究现状 | 第12-14页 |
| 1.2.2 存在问题 | 第14-15页 |
| 1.3 本文的主要工作 | 第15页 |
| 1.4 本文的组织结构 | 第15-17页 |
| 第二章 相关理论与技术概述 | 第17-25页 |
| 2.1 大数据处理方式 | 第17-18页 |
| 2.1.1 大数据批式处理 | 第17页 |
| 2.1.2 大数据流式处理 | 第17-18页 |
| 2.2 分布式与内存计算技术 | 第18-21页 |
| 2.2.1 MapReduce分布式编程模型 | 第18-19页 |
| 2.2.2 Storm流式内存计算引擎 | 第19-21页 |
| 2.3 NoSQL相关技术 | 第21-22页 |
| 2.3.1 NoSQL概述 | 第21页 |
| 2.3.2 Redis简介 | 第21-22页 |
| 2.4 高频证券流式大数据的处理技术 | 第22-24页 |
| 2.4.1 证券流式大数据概述 | 第22-23页 |
| 2.4.2 主要的处理技术 | 第23-24页 |
| 2.4.3 待改进的地方 | 第24页 |
| 2.5 本章小结 | 第24-25页 |
| 第三章 证券数据流式处理框架分析与设计 | 第25-37页 |
| 3.1 整体框架分析 | 第25-27页 |
| 3.1.1 结构分析 | 第25-26页 |
| 3.1.2 技术选型 | 第26-27页 |
| 3.2 整体框架设计 | 第27页 |
| 3.3 数据处理模型设计 | 第27-33页 |
| 3.3.1 数据源Spout读取模块 | 第30页 |
| 3.3.2 数据处理Bolt模块 | 第30-31页 |
| 3.3.3 Zookeeper服务的设计 | 第31-33页 |
| 3.4 框架关键技术分析 | 第33-35页 |
| 3.4.1 Storm流式处理框架 | 第34页 |
| 3.4.2 证券数据共享内存中心 | 第34-35页 |
| 3.5 本章小结 | 第35-37页 |
| 第四章 基于Storm的证券数据流式处理框架关键技术研究 | 第37-57页 |
| 4.1 Storm框架资源管理机制改进 | 第37-43页 |
| 4.1.1 Storm资源管理机制分析 | 第37-40页 |
| 4.1.2 SWIO资源隔离策略 | 第40页 |
| 4.1.3 SWIO策略实现 | 第40-43页 |
| 4.2 Storm框架负载均衡策略研究 | 第43-49页 |
| 4.2.1 Storm负载分配机制分析 | 第43-45页 |
| 4.2.2 基于最低利用率的Slot分配策略 | 第45-47页 |
| 4.2.3 基于Slot迁移的动态负载均衡策略 | 第47-49页 |
| 4.3 Storm框架任务调度研究 | 第49-56页 |
| 4.3.1 Storm任务默认调度机制分析 | 第50页 |
| 4.3.2 任务调度实例分析 | 第50-52页 |
| 4.3.3 基于减少网络传输延迟的改进任务调度算法 | 第52-55页 |
| 4.3.4 RNTD算法在Storm中的实现 | 第55-56页 |
| 4.4 本章小结 | 第56-57页 |
| 第五章 基于Redis的证券数据共享内存中心设计与实现 | 第57-69页 |
| 5.1 基于Redis共享内存中心框架 | 第57-59页 |
| 5.2 模块流程与类图设计 | 第59-61页 |
| 5.3 共享内存中心的实现 | 第61-67页 |
| 5.3.1 数据流注册模块 | 第61-62页 |
| 5.3.2 数据流解析模块 | 第62-64页 |
| 5.3.3 数据流存储模块 | 第64-65页 |
| 5.3.4 元数据模块 | 第65-66页 |
| 5.3.5 单点方案的实现 | 第66-67页 |
| 5.4 共享内存中心优势 | 第67-68页 |
| 5.5 本章小结 | 第68-69页 |
| 第六章 证券数据处理框架应用与评估 | 第69-85页 |
| 6.1 系统实现 | 第69-76页 |
| 6.1.1 环境搭建与部署 | 第69-70页 |
| 6.1.2 系统功能简介 | 第70-71页 |
| 6.1.3 系统用例模型 | 第71-72页 |
| 6.1.4 系统实现原型 | 第72-75页 |
| 6.1.5 系统运行状态分析 | 第75-76页 |
| 6.2 Storm框架性能评估 | 第76-81页 |
| 6.2.1 SWIO策略性能评估 | 第76-77页 |
| 6.2.2 负载均衡策略评估 | 第77-79页 |
| 6.2.3 任务调度算法性能评估 | 第79-81页 |
| 6.3 共享内存中心性能评估 | 第81-84页 |
| 6.4 本章小结 | 第84-85页 |
| 总结与展望 | 第85-87页 |
| 工作总结 | 第85-86页 |
| 工作展望 | 第86-87页 |
| 参考文献 | 第87-93页 |
| 攻读硕士学位期间取得的科研成果 | 第93-95页 |
| 致谢 | 第95-96页 |
