数据预处理系统的几个关键技术研究与实现
| 致谢 | 第1-6页 |
| 中文摘要 | 第6-7页 |
| ABSTRACT | 第7-8页 |
| 目录 | 第8-10页 |
| 1 绪论 | 第10-13页 |
| ·研究背景和意义 | 第10-11页 |
| ·本文研究的主要内容 | 第11-12页 |
| ·论文组织结构 | 第12-13页 |
| 2 数据预处理概述 | 第13-16页 |
| ·数据清理 | 第13页 |
| ·数据集成 | 第13-14页 |
| ·数据变换 | 第14-15页 |
| ·数据约简 | 第15-16页 |
| 3 数据预处理系统概述 | 第16-25页 |
| ·系统的构架概述 | 第16-20页 |
| ·预处理功能架构和需求分析概述 | 第17页 |
| ·数据格式转化子系统 | 第17-18页 |
| ·预处理算法子系统已实现部分 | 第18-20页 |
| ·属性选择 | 第20-23页 |
| ·单属性选择 | 第21页 |
| ·属性子集选择 | 第21-23页 |
| ·属性变换 | 第23-25页 |
| 4 基于XML的数据格式的设计与实现 | 第25-40页 |
| ·数据集合的XML描述 | 第25-27页 |
| ·可扩展标记语言XML | 第25-26页 |
| ·数据集合的DTD描述 | 第26-27页 |
| ·基于XML模式定义的数据格式 | 第27-29页 |
| ·XML模式定义的元素 | 第27-29页 |
| ·XML模式定义的约束 | 第29页 |
| ·一个完整的XML模式定义的文件 | 第29-34页 |
| ·根元素 | 第30页 |
| ·文件头部分 | 第30-32页 |
| ·文件数据部分 | 第32-34页 |
| ·XML的解析器 | 第34-36页 |
| ·大数据量的分批处理 | 第36-40页 |
| ·估算一条实例所占内存 | 第36-37页 |
| ·分批处理过程 | 第37页 |
| ·分批处理方法的有效性验证实验结果 | 第37-40页 |
| 5 相似性度量算法的研究 | 第40-53页 |
| ·基于标记的相似性度量 | 第40-44页 |
| ·基于Jaccard系数的相似性度量 | 第40-42页 |
| ·余弦相似性度量 | 第42-43页 |
| ·基于q-grams的相似性度量 | 第43-44页 |
| ·基于编辑的相似性度量 | 第44-46页 |
| ·编辑距离度量 | 第44-45页 |
| ·Jaro和Jaro-Winkler距离 | 第45-46页 |
| ·复合方程 | 第46-48页 |
| ·Jaccard相似性度量的扩展 | 第46-47页 |
| ·Monge-Elkan度量 | 第47页 |
| ·SOFTTF/IDF | 第47-48页 |
| ·数值型数据的相似性度量 | 第48-53页 |
| ·一种扩展的余弦相似度度量算法 | 第49-50页 |
| ·实验结果 | 第50-53页 |
| 6 离散化算法的研究 | 第53-61页 |
| ·离散化算法 | 第53-54页 |
| ·一种基于相似性度量的多区间离散化方法 | 第54-61页 |
| ·信息论中的几个基础概念 | 第54-56页 |
| ·对基于信息熵离散化算法的分析 | 第56-57页 |
| ·一种基于相似性度量的离散化算法 | 第57-58页 |
| ·实验结果 | 第58-61页 |
| 7 结论 | 第61-63页 |
| ·本文工作总结 | 第61-62页 |
| ·进一步工作展望 | 第62-63页 |
| 参考文献 | 第63-66页 |
| 作者简历 | 第66-68页 |
| 学位论文数据集 | 第68页 |
