| 摘要 | 第1-5页 |
| Abstract | 第5-8页 |
| 第一章 引言 | 第8-17页 |
| ·研究背景 | 第8-10页 |
| ·研究现状 | 第10-15页 |
| ·研究对象:近似文本介绍 | 第11页 |
| ·研究方法概述 | 第11-12页 |
| ·文档重复将引起的问题 | 第12-13页 |
| ·研究进展 | 第13-15页 |
| ·本文研究的主要内容 | 第15-17页 |
| 第二章 相关算法研究 | 第17-30页 |
| ·国外经典算法研究 | 第17-22页 |
| ·编辑距离的起源和算法(Edit-Distance based algorithm) | 第17-19页 |
| ·Charikar的simhash及提出的相似度计算方法 | 第19页 |
| ·DSC和DSC-SS算法 | 第19-20页 |
| ·I-Match算法 | 第20-21页 |
| ·SCAM算法 | 第21页 |
| ·CHECK方法 | 第21-22页 |
| ·国外的几种算法的综合比较 | 第22页 |
| ·国内近年来的算法研究成果 | 第22-25页 |
| ·北大天网的去重算法 | 第23-24页 |
| ·基于特征串的去重算法 | 第24-25页 |
| ·国内算法总结 | 第25页 |
| ·算法总体比较和总结 | 第25-30页 |
| 第三章 改进的去重算法研究 | 第30-42页 |
| ·系统综述 | 第30-31页 |
| ·预处理 | 第31-33页 |
| ·提取指定内容的工具 | 第31-32页 |
| ·哈工大分词系统 | 第32-33页 |
| ·围绕主题的框架关键词提取 | 第33-37页 |
| ·算法理论 | 第33-35页 |
| ·贯穿始终的开源工具:Lucene | 第35-37页 |
| ·核心部分 相似度计算 改进的LCS算法 | 第37-42页 |
| 第四章 实验结果以及分析 | 第42-48页 |
| ·关于阈值的实验 | 第42-45页 |
| ·关键字优势比较 | 第45-46页 |
| ·算法优势比较 | 第46-48页 |
| 第五章 总结与展望 | 第48-50页 |
| ·总结和下一步的研究计划 | 第48-49页 |
| ·以后的研究计划 | 第49-50页 |
| 参考文献 | 第50-53页 |
| 致谢 | 第53-54页 |
| 攻读硕士学位期间发表的论文 | 第54页 |