| 摘要 | 第3-4页 |
| ABSTRACT | 第4页 |
| 第一章 绪论 | 第7-13页 |
| 1.1 研究背景和意义 | 第7-8页 |
| 1.2 农业物联网和大数据结合的应用现状 | 第8-9页 |
| 1.3 研究目的及意义 | 第9页 |
| 1.4 主要研究内容 | 第9-10页 |
| 1.5 论文的组织结构 | 第10-13页 |
| 第二章 基础理论与关键技术 | 第13-21页 |
| 2.1 数据预处理概述 | 第13页 |
| 2.2 BloomFilter简介 | 第13-14页 |
| 2.3 主流大数据计算框架关键技术 | 第14-17页 |
| 2.3.1 MapReduce编程模型 | 第14-16页 |
| 2.3.2 HDFS文件系统 | 第16-17页 |
| 2.4 Spark计算框架 | 第17-20页 |
| 2.4.1 Spark编程模型 | 第17-18页 |
| 2.4.2 Spark作业调度 | 第18-19页 |
| 2.4.3 Spark SQL | 第19-20页 |
| 2.5 小结 | 第20-21页 |
| 第三章 基于物联网采集的农业数据过滤优化 | 第21-31页 |
| 3.1 农业物联网数据采集端 | 第21-22页 |
| 3.2 RFID数据流特征 | 第22-23页 |
| 3.3 标准BloomFilter假阳性概率说明 | 第23页 |
| 3.4 基于BloomFilter的联合查询器 | 第23-25页 |
| 3.4.1 基于BloomFilter的联合过滤器细节描述 | 第24-25页 |
| 3.5 算法分析 | 第25-27页 |
| 3.5.1 算法适用场景分析 | 第27页 |
| 3.6 实验及结果分析 | 第27-29页 |
| 3.7 小结 | 第29-31页 |
| 第四章 基于SPARK的两大表等值连接处理优化 | 第31-43页 |
| 4.1 BroadcastJoin和HashJoin及SortMerge分析 | 第31-33页 |
| 4.1.1 Join操作优化途径 | 第33页 |
| 4.2 Join key过滤采样分区优化算法描述 | 第33-36页 |
| 4.3 算法细节描述 | 第36-38页 |
| 4.3.1 连接分区过滤 | 第36-37页 |
| 4.3.2 采样统计数据分布 | 第37页 |
| 4.3.3 拆分分区再连接 | 第37-38页 |
| 4.4 算法分析 | 第38-39页 |
| 4.5 实验及结果分析 | 第39-42页 |
| 4.6 本章小结 | 第42-43页 |
| 第五章 基于物联网和Spark的农业数据分析系统模型设计 | 第43-49页 |
| 5.1 基于物联网和Spark的农业数据分析系统可行性分析 | 第43-45页 |
| 5.2 基于物联网和Spark的农业数据分析系统架构设计 | 第45页 |
| 5.3 系统分层说明 | 第45-46页 |
| 5.4 处理流程分析设计 | 第46-48页 |
| 5.5 性能调优 | 第48页 |
| 5.6 小结 | 第48-49页 |
| 第六章 总结与展望 | 第49-51页 |
| 6.1 总结 | 第49页 |
| 6.2 展望 | 第49-51页 |
| 参考文献 | 第51-55页 |
| 致谢 | 第55-56页 |
| 攻读学位期间发表的学术论文目录 | 第56-58页 |
