摘要 | 第6-7页 |
Abstract | 第7-8页 |
1 绪论 | 第13-22页 |
1.1 课题研究背景及意义 | 第13-14页 |
1.1.1 课题研究背景 | 第13-14页 |
1.1.2 课题研究意义 | 第14页 |
1.2 国内外发展现状 | 第14-18页 |
1.2.1 国外发展现状 | 第15-16页 |
1.2.2 国内发展 | 第16-18页 |
1.3 传统农业信息化和现代化改造的基本途径和发展趋势 | 第18-19页 |
1.3.1 我国农业现代化关键技术与基本途径 | 第18-19页 |
1.3.2 物联网对农业现代化改造的积极作用 | 第19页 |
1.3.3 大数据在农业物联网中的地位及应用发展趋势 | 第19页 |
1.4 大数据在农业物联网中应用调研 | 第19-20页 |
1.4.1 农业物联网中大数据的基本特征 | 第19-20页 |
1.4.2 大数据关键技术及在农业领域应用现状和发展趋势 | 第20页 |
1.5 本文主要研究内容和组织结构 | 第20-22页 |
2 农业物联网大数据平台架构及部署 | 第22-49页 |
2.1 平台设计方案论述 | 第22-25页 |
2.1.1 农业数据特点及处理需求 | 第22页 |
2.1.2 平台功能需求及用户界面 | 第22-23页 |
2.1.3 前台及后台功能 | 第23-24页 |
2.1.4 平台数据库需求及设计 | 第24-25页 |
2.1.5 运行环境及主要技术平台 | 第25页 |
2.2 Hadoop基本架构及关键技术 | 第25-27页 |
2.2.1 MapReduce简介 | 第26页 |
2.2.2 HDFS简介 | 第26-27页 |
2.3 PC集群的基本安装配置 | 第27-30页 |
2.3.1 Java跨平台环境支持套件Jdk1.7 的安装 | 第28-29页 |
2.3.2 各节点无密码登陆的Ssh配置 | 第29-30页 |
2.4 普通PC集群Hadoop搭建 | 第30-34页 |
2.4.1 PC集群Hadoop平台安装规划 | 第30-31页 |
2.4.2 hadoop用户创建 | 第31页 |
2.4.3 Hadoop部署配置 | 第31-34页 |
2.5 普通PC集群上分布式数据库HBase安装 | 第34-36页 |
2.5.1 Zookeeper安装 | 第34页 |
2.5.2 HBase安装 | 第34-36页 |
2.6 高性能服务器HPC上Hadoop集群搭建 | 第36-45页 |
2.6.1 HPC集群架构 | 第37页 |
2.6.2 HPC集群的配置管理 | 第37-39页 |
2.6.3 Hadoop安装规划 | 第39-40页 |
2.6.4 基本环境配置及Hadoop部署 | 第40-45页 |
2.7 HPC上安装分布式数据库HBase | 第45-46页 |
2.7.1 HPC上Zookeeper安装 | 第45页 |
2.7.2 HPC上HBase数据库安装 | 第45-46页 |
2.8 Web管理服务器部署 | 第46-47页 |
2.8.1 Tomcat介绍 | 第46-47页 |
2.8.2 Tomcat使用方法 | 第47页 |
2.9 Hadoop集群的测试 | 第47-48页 |
2.9.1 HDFS的读写测试 | 第47-48页 |
2.9.2 HBase数据库的录入测试 | 第48页 |
2.10 本章小结 | 第48-49页 |
3 基于物联网的数据采集及平台功能模块设计 | 第49-61页 |
3.1 基于无线传感器网络的大数据采集 | 第49-51页 |
3.1.1 WSN的传感器节点 | 第49页 |
3.1.2 传感数据采集原理 | 第49-51页 |
3.1.3 传感数据采集流程 | 第51页 |
3.2 数据加载模块 | 第51-53页 |
3.2.1 使用ETL工具加载 | 第51-52页 |
3.2.2 HBase自带命令或工具加载方法 | 第52页 |
3.2.3 自定义加载方法 | 第52-53页 |
3.3 数据迁移实现 | 第53-54页 |
3.3.1 与关系数据库连接测试 | 第53-54页 |
3.3.2 数据导入HBase数据库 | 第54页 |
3.4 同步实现模块 | 第54-57页 |
3.4.1 服务器Hadoop集群同步问题 | 第54-55页 |
3.4.2 集群同步解决方案 | 第55-57页 |
3.5 系统总体功能及设计 | 第57-60页 |
3.5.1 平台性能需求分析 | 第57-58页 |
3.5.2 平台基本功能需求与主页设计 | 第58-59页 |
3.5.3 用户管理模块 | 第59页 |
3.5.4 传感器数据管理模块 | 第59-60页 |
3.5.5 文件管理模块 | 第60页 |
3.6 本章小结 | 第60-61页 |
4 数据库存储平台设计与实现 | 第61-81页 |
4.1 需求分析 | 第61-62页 |
4.2 存储系统平台架构设计 | 第62-64页 |
4.2.1 HBase数据库特点 | 第62页 |
4.2.2 分布式数据库HBase基本原理 | 第62-64页 |
4.3 数据库的表设计 | 第64-68页 |
4.3.1 Mysql数据库用户表设计 | 第64-66页 |
4.3.2 HBase数据库中传感信息表设计 | 第66-67页 |
4.3.3 文件管理的表设计 | 第67-68页 |
4.4 信息管理的实现 | 第68-76页 |
4.4.1 基本开发技术 | 第68页 |
4.4.2 用户管理的实现 | 第68-69页 |
4.4.3 文件管理在Mysql上的实现 | 第69-71页 |
4.4.4 文件管理模块在HDFS上的实现 | 第71-72页 |
4.4.5 传感信息管理模块实现 | 第72-74页 |
4.4.6 传感数据采集界面 | 第74-75页 |
4.4.7 其他功能的实现及界面展示 | 第75-76页 |
4.5 HBase数据库查询过程 | 第76-79页 |
4.5.1 查询的实现类 | 第77页 |
4.5.2 传感器数据查询的Web实现测试 | 第77-78页 |
4.5.3 HBase插入及查询性能测试 | 第78-79页 |
4.6 服务器上的HBase性能优化 | 第79-80页 |
4.7 本章小结 | 第80-81页 |
5 平台中算法应用测试 | 第81-90页 |
5.1 基于Hadoop的数据挖掘平台 | 第81页 |
5.2 Kmeans算法基本原理 | 第81-84页 |
5.3 Kmeans聚类分析过程 | 第84-86页 |
5.3.1 Kmeans的Map函数设计 | 第84页 |
5.3.2 Kmeans的Reduce函数设计 | 第84-85页 |
5.3.3 算法复杂度分析 | 第85页 |
5.3.4 run函数的设计 | 第85-86页 |
5.4 结果分析 | 第86-89页 |
5.5 本章小结 | 第89-90页 |
结论 | 第90-92页 |
参考文献 | 第92-95页 |
攻读硕士学位期间发表学术论文情况 | 第95-96页 |
致谢 | 第96-97页 |