摘要 | 第6-7页 |
第1章 绪论 | 第7-12页 |
1.1 研究背景与意义 | 第7-8页 |
1.2 大数据在农业中的应用现状 | 第8-9页 |
1.3 农作物生长环境数据存储与预警的研究现状 | 第9-10页 |
1.3.1 农作物生长环境数据存储与预警的内涵 | 第9页 |
1.3.2 国内研究现状 | 第9-10页 |
1.3.3 国外研究现状 | 第10页 |
1.4 论文的主要内容 | 第10-12页 |
第2章 大数据处理技术的研究 | 第12-31页 |
2.1 HBase分布式数据存储方案 | 第13-21页 |
2.2 Hadoop Map-Reduce数据分析架构 | 第21-23页 |
2.3 Hadoop HDFS分布式数据存储 | 第23-24页 |
2.4 Storm实时大数据处理平台 | 第24-27页 |
2.5 Hive类SQL大数据分析工具 | 第27-28页 |
2.6 Oozie大数据DAG工作流控制 | 第28页 |
2.7 Kerberos网络认证协议 | 第28-31页 |
第3章 总体设计方案 | 第31-38页 |
3.1 系统需求分析 | 第31页 |
3.2 整体大数据处理平台架构 | 第31-38页 |
3.2.1 系统架构 | 第31-36页 |
3.2.2 安全性控制 | 第36-38页 |
第4章 系统功能的实现 | 第38-68页 |
4.1 平台数据传输接口的设计与实现 | 第38-42页 |
4.2 HBase分布式数据存储模块设计与实现 | 第42-48页 |
4.3 Hadoop批处理数据转存模块设计与实现 | 第48-49页 |
4.4 Storm实时处理模块设计与实现 | 第49-51页 |
4.5 环境数据整合与处理模块设计与实现 | 第51-54页 |
4.6 数据展示平台 | 第54-56页 |
4.7 大数据平台搭建流程 | 第56-68页 |
4.7.1 环境 | 第56页 |
4.7.2 准备工作 | 第56-57页 |
4.7.3 配置环境变量 | 第57-58页 |
4.7.4 Hadoop安装配置 | 第58-63页 |
4.7.5 Zookeeper安装 | 第63-64页 |
4.7.6 HBase安装 | 第64-67页 |
4.7.7 Storm安装配置 | 第67-68页 |
第5章 总结与展望 | 第68-69页 |
参考文献 | 第69-72页 |
附:大数据平台搭建流程附件 | 第72-82页 |
Abstract | 第82页 |
致谢 | 第84页 |