摘要 | 第3-4页 |
Abstract | 第4-5页 |
第一章 绪论 | 第8-13页 |
1.1 课题研究背景 | 第8页 |
1.2 研究目的和意义 | 第8-9页 |
1.3 国内外研究现状 | 第9-10页 |
1.2.1 国外农产品追溯及数据分析研究现状 | 第9-10页 |
1.2.2 国内可追溯及数据分析现状 | 第10页 |
1.4 本文研究内容 | 第10-11页 |
1.5 研究方法 | 第11-13页 |
第二章 种子追溯云平台使用的关键技术 | 第13-31页 |
2.1 hadoop离线计算模型 | 第13-19页 |
2.1.2 HDFS架构原理 | 第13-15页 |
2.1.3 MapReduce并行计算模型 | 第15-16页 |
2.1.4 基于hive的数据分析 | 第16-17页 |
2.1.5 HBase分布式存储 | 第17-19页 |
2.2 Spark实时计算模型 | 第19-25页 |
2.2.1 RDD的内在机制 | 第20-22页 |
2.2.2 Spark运行架构 | 第22-24页 |
2.2.3 SparkStreaming流式计算 | 第24-25页 |
2.3 Zookeeper | 第25-26页 |
2.4 日志采集与消息队列 | 第26-28页 |
2.4.1 Flume日志采集 | 第26-27页 |
2.4.2 kafka消息队列 | 第27-28页 |
2.5 私有云平台实例的负载均衡 | 第28-31页 |
第三章 种子追溯平台系统架构 | 第31-41页 |
3.1 采集追溯中日志数据 | 第32-33页 |
3.2 搭建种子数据仓库 | 第33-36页 |
3.2.1 多重ETL清洗种子数据 | 第34页 |
3.2.2 搭建种子数据仓库 | 第34-36页 |
3.3 基于协同过滤算法的农户选种推荐 | 第36-38页 |
3.4 追溯数据质量数据计算 | 第38-41页 |
3.4.1 通过hadoop离线计算追溯数据 | 第38-39页 |
3.4.2 Spark实时计算推荐反馈数据 | 第39-41页 |
第四章 追溯云平台中创新优化 | 第41-46页 |
4.1 提高采集数据的准确性和实时性 | 第41-42页 |
4.2 优化报表数据存储的数据库集群的配置 | 第42-44页 |
4.3 基于RPC协议远程服务调用体系 | 第44-46页 |
第五章 实验数据以及参照对比 | 第46-52页 |
5.1 云平台服务节点的对比实验 | 第46页 |
5.2 追溯数据并行计算MapReduce数量分析 | 第46-47页 |
5.3 追溯云平台基于LBFA算法的负载均衡实验分析 | 第47-48页 |
5.4 数据仓库中涉及的部分Hbase数据表结构 | 第48-50页 |
5.5 种子推荐数据触发比 | 第50-52页 |
第六章 总结与展望 | 第52-54页 |
6.1 工作总结 | 第52-53页 |
6.2 研究展望 | 第53-54页 |
参考文献 | 第54-57页 |
作者简介 | 第57-59页 |
致谢 | 第59页 |