ETL过程中的数据清洗技术研究与应用
| 摘要 | 第1-6页 |
| Abstract | 第6-10页 |
| 第1章 绪论 | 第10-16页 |
| ·数据清洗的意义 | 第10-11页 |
| ·数据清洗研究现状 | 第11-14页 |
| ·ETL与数据清洗 | 第11-12页 |
| ·ETL工具的比较 | 第12页 |
| ·数据清洗概况 | 第12-14页 |
| ·本文工作 | 第14-16页 |
| 第2章 数据质量问题及解决方案 | 第16-23页 |
| ·数据质量概述 | 第16-17页 |
| ·数据质量评价指标 | 第17-18页 |
| ·数据质量问题的分类 | 第18-20页 |
| ·基于数据源的脏数据分类 | 第18-19页 |
| ·基于清洗方式的脏数据分类 | 第19-20页 |
| ·独立型脏数据清洗 | 第20-21页 |
| ·依赖型脏数据清洗 | 第21-22页 |
| ·小结 | 第22-23页 |
| 第3章 数据清洗方案 | 第23-33页 |
| ·数据清洗定义 | 第23-24页 |
| ·数据清洗环节 | 第24-26页 |
| ·应用环境层清洗 | 第24页 |
| ·ETL层数据清洗 | 第24-25页 |
| ·数据仓库层清洗 | 第25-26页 |
| ·基于ETL的清洗模型 | 第26-27页 |
| ·数据清洗步骤 | 第27-28页 |
| ·清洗中的元数据 | 第28-30页 |
| ·数据清洗策略 | 第30-32页 |
| ·数据清洗的一般策略 | 第30页 |
| ·混合的数据清洗策略 | 第30-32页 |
| ·小结 | 第32-33页 |
| 第4章 中文地址类信息的分词方法 | 第33-45页 |
| ·分词概述 | 第33-34页 |
| ·已有的汉语分词方法 | 第34-35页 |
| ·基于特征字符的分词方法 | 第35-43页 |
| ·分词元数据 | 第35-36页 |
| ·分词基本原理 | 第36-37页 |
| ·分词算法描述 | 第37-43页 |
| ·RDBMS中的分词结果 | 第43页 |
| ·小结 | 第43-45页 |
| 第5章 重复记录的清洗 | 第45-63页 |
| ·重复记录概述 | 第45-46页 |
| ·重复记录的定义 | 第46页 |
| ·重复记录清洗的基本方法 | 第46页 |
| ·字符串匹配方法 | 第46-50页 |
| ·基本字符串匹配 | 第47页 |
| ·编辑距离字符串匹配 | 第47-50页 |
| ·记录相似性度量 | 第50-51页 |
| ·字段匹配问题 | 第50页 |
| ·记录匹配问题 | 第50-51页 |
| ·重复记录的聚类 | 第51-53页 |
| ·基本近邻排序算法SNM | 第51-52页 |
| ·多趟近邻排序算法MPN | 第52页 |
| ·优先队列算法 | 第52-53页 |
| ·基于分词的地址类重复信息的清洗 | 第53-61页 |
| ·工作流程 | 第53-54页 |
| ·预处理 | 第54-55页 |
| ·地址类信息的匹配 | 第55-58页 |
| ·地址类信息的聚类 | 第58-59页 |
| ·实验结果 | 第59-61页 |
| ·冲突处理 | 第61页 |
| ·小结 | 第61-63页 |
| 结论 | 第63-65页 |
| 参考文献 | 第65-67页 |
| 致谢 | 第67-68页 |
| 攻读硕士期间发表(含录用)的学术论文 | 第68-69页 |
