摘要 | 第1-6页 |
Abstract | 第6-10页 |
第1章 绪论 | 第10-18页 |
·问题的提出 | 第10-11页 |
·数据质量问题 | 第11-13页 |
·数据质量问题的概述 | 第11页 |
·数据质量问题的分类 | 第11-13页 |
·数据清洗的研究现状 | 第13-15页 |
·国外的研究现状 | 第13-14页 |
·国内研究现状 | 第14-15页 |
·数据清洗应用的基本领域 | 第15-16页 |
·本文的工作和内容组织 | 第16-18页 |
第2章 数据清洗中相似重复记录知识 | 第18-38页 |
·相似重复记录概述 | 第18-20页 |
·记录的匹配知识 | 第20-28页 |
·距离函数 | 第22-23页 |
·相似度度量(Similarity Measure)方法 | 第23-24页 |
·基于N—gram的字符串匹配算法 | 第24-25页 |
·编辑距离(Edit Distance) | 第25-26页 |
·Cosine相似度(CosineSimirality)函数 | 第26-27页 |
·N-gram层次空间相似度度量 | 第27-28页 |
·消除相似重复记录的基本算法简介 | 第28-36页 |
·优先队列排序算法 | 第28-30页 |
·多个关键字相组合对数据集进行排序的方法 | 第30-31页 |
·Smith-Waterman算法 | 第31-32页 |
·对象合并 | 第32-34页 |
·近邻排序算法 | 第34-35页 |
·改进的SNM算法 | 第35-36页 |
·DBSCAN聚类方法 | 第36页 |
·清洗结果的评价标准 | 第36页 |
·本章小结 | 第36-38页 |
第3章 DBSCAN聚类算法 | 第38-46页 |
·聚类 | 第38-41页 |
·主要聚类方法的分类 | 第38-39页 |
·DBSCAN聚类之前的问题分析(数据准备) | 第39-41页 |
·DBSCAN聚类算法 | 第41-45页 |
·本章小结 | 第45-46页 |
第4章 DBSCAN算法存在的问题及改进 | 第46-50页 |
·DBSCAN算法存在的问题 | 第46-47页 |
·pair-wise比较算法 | 第47-49页 |
·本章小结 | 第49-50页 |
第5章 相似重复记录检测方法的实现 | 第50-58页 |
·数据结构的需求分析和定义 | 第50页 |
·与数据库的底层连接及数据交换 | 第50-52页 |
·DBSCAN的聚类过程 | 第52-54页 |
·准备DBSCAN表 | 第52-53页 |
·寻找核心点 | 第53页 |
·聚类 | 第53-54页 |
·检测相似重复记录的算法 | 第54-55页 |
·测试实验 | 第55-57页 |
·本章小结 | 第57-58页 |
结论 | 第58-59页 |
参考文献 | 第59-63页 |
攻读硕士学位期间发表的论文和取得的科研成果 | 第63-64页 |
致谢 | 第64页 |