| 摘要 | 第5-6页 |
| abstract | 第6-7页 |
| 第一章 绪论 | 第11-17页 |
| 1.1 研究意义和背景 | 第11-12页 |
| 1.2 相关技术发展现状 | 第12-15页 |
| 1.2.1 分布式技术发展现状 | 第12-14页 |
| 1.2.2 生产监测应用中的分布式技术发展现状 | 第14页 |
| 1.2.3 现状分析与总结 | 第14-15页 |
| 1.3 论文主要内容及结构 | 第15-17页 |
| 第二章 传统分布式技术的研究 | 第17-28页 |
| 2.1 发酵房可视化系统的设计重点 | 第17-20页 |
| 2.2 传统MapReduce分布式技术研究 | 第20-25页 |
| 2.2.1 MapReduce计算任务流程 | 第20-23页 |
| 2.2.2 MapReduce的任务调度 | 第23-24页 |
| 2.2.3 MapReduce的资源分配 | 第24-25页 |
| 2.3 传统slot-based型MapReduce设计的问题 | 第25-27页 |
| 2.4 本章小结 | 第27-28页 |
| 第三章 并行化分布式系统的研究与设计 | 第28-54页 |
| 3.1 并行化分布式技术的资源调度器研究 | 第28-35页 |
| 3.1.1 资源调度DRF算法研究 | 第28-30页 |
| 3.1.2 Yarn资源调度器概述 | 第30-33页 |
| 3.1.3 基于Yarn管理器的DRF调度策略实现 | 第33-34页 |
| 3.1.4 并行队列的资源调度负载测试 | 第34-35页 |
| 3.2 计算并行化的研究与设计 | 第35-45页 |
| 3.2.1 Spark的RDD运行原理 | 第35-37页 |
| 3.2.2 Spark中的并行化研究与设计 | 第37-42页 |
| 3.2.3 Spark并行化的内存设计 | 第42-45页 |
| 3.3 存储并行化及优化 | 第45-53页 |
| 3.3.1 分布式文件系统原理概述 | 第45-46页 |
| 3.3.2 分布式数据库原理概述 | 第46-48页 |
| 3.3.3 存储框架中的并行化设计 | 第48-53页 |
| 3.4 本章小结 | 第53-54页 |
| 第四章 并行分布式系统的实时化研究与设计 | 第54-62页 |
| 4.1 Storm运行原理概述 | 第54-56页 |
| 4.2 Storm的ACK设计 | 第56-58页 |
| 4.3 监测系统总体设计 | 第58-61页 |
| 4.3.1 总体技术栈设计 | 第58页 |
| 4.3.2 总体模块应用设计 | 第58-60页 |
| 4.3.3 总体闭环流程设计 | 第60-61页 |
| 4.4 本章小结 | 第61-62页 |
| 第五章 并行化分布式系的统协调器设计 | 第62-75页 |
| 5.1 分布式一致性基础原理 | 第62-63页 |
| 5.2 基于Zookeeper的分布式协调器运行原理 | 第63-66页 |
| 5.2.1 协调器读写流程 | 第63-65页 |
| 5.2.2 协调器管理机制 | 第65-66页 |
| 5.3 Zookeeper管理Storm的机制研究 | 第66-68页 |
| 5.4 Zookeeper管理Flume节点的设计与实现 | 第68-70页 |
| 5.5 .Zookeeper管理Kafka节点的设计与实现 | 第70-71页 |
| 5.6 分布式协调服务的设计与实现 | 第71-74页 |
| 5.6.1 分布式锁实现与改进 | 第71-72页 |
| 5.6.2 节点配置同步分发实现 | 第72-73页 |
| 5.6.3 节点上下线通知系统实现 | 第73-74页 |
| 5.7 本章小结 | 第74-75页 |
| 第六章 基于并行分布式技术的神经网络设计与实现 | 第75-97页 |
| 6.1 MLlib机器学习算法支持库概述 | 第75-76页 |
| 6.2 人工神经网络原理 | 第76-83页 |
| 6.2.1 神经元与激活函数 | 第77-78页 |
| 6.2.2 神经网络模型 | 第78-79页 |
| 6.2.3 信号前向传播 | 第79-80页 |
| 6.2.4 反向传播计算 | 第80-82页 |
| 6.2.5 改进参数 | 第82-83页 |
| 6.3 分布式并行神经网络的实现 | 第83-96页 |
| 6.3.1 变量广播 | 第83-84页 |
| 6.3.2 RDD计算过程设计 | 第84-86页 |
| 6.3.3 RDD算子分区 | 第86-89页 |
| 6.3.4 基于Spark-RDD的关键代码实现 | 第89-92页 |
| 6.3.5 基于Storm-Bolt的关键代码实现 | 第92-96页 |
| 6.4 本章小结 | 第96-97页 |
| 第七章 分布式集群部署与系统性能测试 | 第97-107页 |
| 7.1 分布式集群部署与可视化界面 | 第97-102页 |
| 7.2 离线分布式框架性能测试 | 第102-106页 |
| 7.3 本章小结 | 第106-107页 |
| 第八章 总结与展望 | 第107-109页 |
| 8.1 总结 | 第107-108页 |
| 8.2 展望 | 第108-109页 |
| 致谢 | 第109-110页 |
| 参考文献 | 第110-112页 |
