农业大数据清洗方法比较研究
| 摘要 | 第6-7页 |
| abstract | 第7页 |
| 第一章 绪论 | 第13-17页 |
| 1.1 研究背景 | 第13页 |
| 1.2 数据清洗的研究现状 | 第13-15页 |
| 1.2.1 国外研究现状 | 第13-14页 |
| 1.2.2 国内研究现状 | 第14-15页 |
| 1.3 研究意义 | 第15页 |
| 1.4 研究方法 | 第15页 |
| 1.5 论文框架和技术路线 | 第15-17页 |
| 第二章 数据清洗相关理论概述 | 第17-26页 |
| 2.1 数据质量问题 | 第17-19页 |
| 2.1.1 数据质量的涵义 | 第17页 |
| 2.1.2 数据质量问题的分类 | 第17-18页 |
| 2.1.3 数据质量的评估 | 第18-19页 |
| 2.2 数据清洗简介 | 第19-24页 |
| 2.2.1 数据清洗的定义 | 第19页 |
| 2.2.2 数据清洗的方法 | 第19-22页 |
| 2.2.3 数据清洗的基本流程 | 第22-23页 |
| 2.2.4 数据清洗的评价标准 | 第23-24页 |
| 2.3 数据清洗工具 | 第24-26页 |
| 2.3.1 ETL工具 | 第24页 |
| 2.3.2 领域无关的数据清洗工具 | 第24-26页 |
| 第三章 农业大数据质量分析 | 第26-38页 |
| 3.1 农业大数据 | 第26-28页 |
| 3.1.1 农业大数据的涵义 | 第26页 |
| 3.1.2 我国农业大数据的构成 | 第26-28页 |
| 3.1.3 我国农业大数据的特性 | 第28页 |
| 3.2 农业大数据清洗需求分析 | 第28-31页 |
| 3.2.1 农业大数据质量问题 | 第28-29页 |
| 3.2.2 数据质量问题产生的根源 | 第29-30页 |
| 3.2.3 数据清洗的必要性 | 第30-31页 |
| 3.3 农业大数据质量评估体系设计 | 第31-38页 |
| 3.3.1 数据质量评估的整体框架 | 第31-32页 |
| 3.3.2 数据质量调查评估 | 第32-34页 |
| 3.3.3 数据质量指标法 | 第34-36页 |
| 3.3.4 测量结果分析 | 第36-38页 |
| 第四章 重复数据清洗算法对比 | 第38-45页 |
| 4.1 产生的原因 | 第38页 |
| 4.2 相似重复记录清洗步骤 | 第38-39页 |
| 4.3 字段匹配算法 | 第39-42页 |
| 4.3.1 递归的字段匹配算法 | 第39页 |
| 4.3.2 编辑距离 | 第39-40页 |
| 4.3.3 Smith-Waterman算法 | 第40-41页 |
| 4.3.4 q-gram算法 | 第41页 |
| 4.3.5 算法对比 | 第41-42页 |
| 4.4 相似重复记录检测清洗算法 | 第42-45页 |
| 4.4.1 排序合并方法 | 第42页 |
| 4.4.2 基本近邻排序算法SNM | 第42-43页 |
| 4.4.3 多趟近邻排序算法MPN | 第43页 |
| 4.4.4 K-means算法 | 第43-45页 |
| 第五章 基于Febrl的农业大数据清洗实证分析 | 第45-57页 |
| 5.1 Febrl数据清洗工具 | 第45页 |
| 5.2 实验设计 | 第45-49页 |
| 5.2.1 数据源 | 第45-47页 |
| 5.2.2 数据源存在的问题 | 第47页 |
| 5.2.3 数据清洗框架 | 第47-48页 |
| 5.2.4 数据清洗结果评价标准 | 第48-49页 |
| 5.3 实验环境搭建 | 第49-50页 |
| 5.3.1 软硬件环境 | 第49页 |
| 5.3.2 安装Febrl | 第49-50页 |
| 5.4 字段匹配算法的选择 | 第50-53页 |
| 5.5 数据清洗算法改进及结果分析 | 第53-57页 |
| 5.5.1 SNM算法改进 | 第53页 |
| 5.5.2 实验结果分析 | 第53-57页 |
| 第六章 总结与展望 | 第57-58页 |
| 6.1 总结 | 第57页 |
| 6.2 展望 | 第57-58页 |
| 参考文献 | 第58-63页 |
| 致谢 | 第63-64页 |
| 作者简历 | 第64页 |
