多源数据清洗策略研究及在财政部门预算中的应用
| 表目录 | 第1-7页 |
| 图目录 | 第7-8页 |
| 摘要 | 第8-9页 |
| ABSTRACT | 第9-10页 |
| 第一章 引言 | 第10-19页 |
| ·金财工程与财政部门预算 | 第10-12页 |
| ·金财工程的主要框架 | 第10-11页 |
| ·财政部门预算概述 | 第11-12页 |
| ·数据仓库与数据清洗 | 第12-16页 |
| ·数据仓库概述 | 第13-14页 |
| ·数据仓库的架构 | 第14页 |
| ·数据清洗的概念 | 第14-15页 |
| ·数据清洗研究的现状 | 第15-16页 |
| ·本文的主要工作 | 第16-19页 |
| 第二章 数据清洗相关理论 | 第19-27页 |
| ·研究背景 | 第19页 |
| ·数据质量 | 第19-21页 |
| ·数据质量的定义 | 第19页 |
| ·数据质量的衡量指标 | 第19-20页 |
| ·数据质量问题 | 第20-21页 |
| ·数据清洗的基本原理 | 第21-27页 |
| ·数据清洗的要求及实现方式 | 第21-23页 |
| ·数据清洗的一般步骤 | 第23-24页 |
| ·数据清洗的质量评估 | 第24-25页 |
| ·数据清洗框架模型概述 | 第25-27页 |
| 第三章 数据清洗的策略分析 | 第27-34页 |
| ·属性清洗策略 | 第27-29页 |
| ·自动检测属性错误 | 第27-29页 |
| ·空缺值的清洗方法 | 第29页 |
| ·错误值的清洗方法 | 第29页 |
| ·不一致数据的清洗方法 | 第29页 |
| ·相似重复记录清洗策略 | 第29-34页 |
| ·属性选择与初步聚类 | 第29-30页 |
| ·相似重复记录检测 | 第30-31页 |
| ·数据库级的相似重复记录聚类 | 第31-33页 |
| ·衡量相似重复记录清洗方法效率的度量标准 | 第33-34页 |
| 第四章 多源数据清洗在财政部门预算中的应用 | 第34-47页 |
| ·财政部门预算数据平台应用分析 | 第34-35页 |
| ·财政部门预算数据平台概述 | 第34页 |
| ·财政部门预算业务需求分析 | 第34-35页 |
| ·财政部门预算数据平台方案 | 第35-37页 |
| ·总体结构概述 | 第35-36页 |
| ·财政部门预算ETL 数据集成过程 | 第36-37页 |
| ·ETL 工具的数据清洗功能 | 第37-47页 |
| ·ETL 架构 | 第37-38页 |
| ·多源数据的访问 | 第38-39页 |
| ·数据访问端的主要功能 | 第39-42页 |
| ·元数据管理与数据分发中心 | 第42-44页 |
| ·ETL 的清洗转换组件 | 第44-47页 |
| 第五章 ETL 工具中数据清洗策略的实现 | 第47-59页 |
| ·财政部门预算数据质量问题分析 | 第47-48页 |
| ·数据清洗策略的实现 | 第48-53页 |
| ·消除相似重复记录策略的改进 | 第48-51页 |
| ·包含大量空缺值列的处理 | 第51-52页 |
| ·单一状态列的处理 | 第52页 |
| ·非标准字段的处理 | 第52-53页 |
| ·不可信极端数据的处理 | 第53页 |
| ·ETL 实施数据清洗的流程 | 第53-59页 |
| 第六章 测试及结果分析 | 第59-62页 |
| ·测试实验环境 | 第59页 |
| ·相似重复记录清洗测试与比较 | 第59-60页 |
| ·ETL 工具数据清洗模块的测试 | 第60-61页 |
| ·测试结果分析 | 第61-62页 |
| 结束语 | 第62-63页 |
| 参考文献 | 第63-66页 |
| 作者简历 攻读硕士学位期间完成的主要工作 | 第66-67页 |
| 致谢 | 第67页 |
