摘要 | 第5-6页 |
abstract | 第6-7页 |
第一章 绪论 | 第11-18页 |
1.1 研究背景 | 第11-13页 |
1.2 国内外研究现状 | 第13-15页 |
1.2.1 MapReduce简化工具 | 第13-14页 |
1.2.2 大数据工作流 | 第14-15页 |
1.3 论文主要研究内容 | 第15-16页 |
1.4 本文的组织结构 | 第16-18页 |
第二章 系统相关技术研究 | 第18-31页 |
2.1 分布式计算平台Hadoop | 第18-25页 |
2.1.1 Hadoop分布式文件系统 | 第18-21页 |
2.1.2 MapReduce并行编程模型 | 第21-25页 |
2.2 Hadoop工作流引擎Oozie | 第25-26页 |
2.3 规则引擎与Drools | 第26-29页 |
2.3.1 产生式系统 | 第26-27页 |
2.3.2 Rete算法 | 第27页 |
2.3.3 Drools规则引擎 | 第27-29页 |
2.3.4 Drools规则语言 | 第29页 |
2.3.5 规则引擎的优点 | 第29页 |
2.4 本章小结 | 第29-31页 |
第三章 基于规则引擎的模型元数据解释研究 | 第31-61页 |
3.1 基于DAG的大数据模型定义 | 第31-34页 |
3.1.1 基本概念 | 第31-32页 |
3.1.2 控制节点类型 | 第32-34页 |
3.1.3 处理节点类型 | 第34页 |
3.2 基于XML的大数据模型元数据描述 | 第34-40页 |
3.2.1 标签介绍 | 第35-36页 |
3.2.2 命名参数 | 第36页 |
3.2.3 执行节点 | 第36-38页 |
3.2.4 有向边 | 第38页 |
3.2.5 基于BDMDL的大数据模型定义示例 | 第38-40页 |
3.3 大数据模型到大数据工作流的元数据解释机制 | 第40-48页 |
3.3.1 大数据模型元数据到有向图的转换 | 第40-42页 |
3.3.2 规则引擎引入必要性 | 第42-43页 |
3.3.3 基于规则引擎的模型元数据解释方法 | 第43-48页 |
3.4 Rete网络改进研究 | 第48-60页 |
3.4.1 Rete算法定义 | 第48-49页 |
3.4.2 规则编译 | 第49-52页 |
3.4.3 运行时执行 | 第52-54页 |
3.4.4 问题描述 | 第54-57页 |
3.4.5 基于约束频度的Rete网络优化构建机制 | 第57-60页 |
3.5 本章小结 | 第60-61页 |
第四章 大数据模型复用解释研究 | 第61-75页 |
4.1 大数据模型复用在各阶段的设计 | 第61-63页 |
4.1.1 设计阶段 | 第61-62页 |
4.1.2 解释阶段 | 第62-63页 |
4.1.3 运行阶段 | 第63页 |
4.2 Oozie所支持的模型复用方式分析 | 第63-65页 |
4.2.1 Oozie Shared Lib原理 | 第63-64页 |
4.2.2 Oozie Shared Lib不足 | 第64-65页 |
4.3 大数据模型解释阶段模型复用流程设计 | 第65-66页 |
4.4 传统HDFS文件复制策略探究 | 第66-67页 |
4.4.1 传统HDFS集群内文件复制策略原理 | 第66-67页 |
4.4.2 传统HDFS集群内文件复制策略不足 | 第67页 |
4.5 基于组合权重的本地化模型复制策略设计 | 第67-74页 |
4.5.1 设计思想 | 第67-68页 |
4.5.2 数据节点选取考虑因素 | 第68-70页 |
4.5.3 数据节点系统负载权重因子确定 | 第70-72页 |
4.5.4 算法设计 | 第72-74页 |
4.6 本章小结 | 第74-75页 |
第五章 系统实现与实验分析 | 第75-96页 |
5.1 总体功能设计 | 第75-78页 |
5.1.1 大数据平台架构 | 第75-76页 |
5.1.2 系统模块划分 | 第76-77页 |
5.1.3 系统工作流程 | 第77-78页 |
5.2 系统模块关键技术实现 | 第78-86页 |
5.2.1 模型元数据解析模块 | 第78页 |
5.2.2 复用模型解释模块 | 第78-82页 |
5.2.3 规则模块 | 第82-86页 |
5.2.4 工作流生成模块 | 第86页 |
5.3 基于约束频度的Rete网络构建优化实验与分析 | 第86-89页 |
5.3.1 实验环境与实验设计 | 第86-87页 |
5.3.2 实验数据与结果分析 | 第87-89页 |
5.4 基于组合权重的本地化模型复制策略实验与分析 | 第89-95页 |
5.4.1 实验环境与实验设计 | 第89-91页 |
5.4.2 实验数据与结果分析 | 第91-95页 |
5.5 本章小结 | 第95-96页 |
第六章 总结与展望 | 第96-98页 |
6.1 工作总结 | 第96-97页 |
6.2 未来展望 | 第97-98页 |
致谢 | 第98-99页 |
参考文献 | 第99-102页 |
攻读硕士学位期间取得的成果 | 第102-103页 |