大规模文本去重策略研究
| 摘要 | 第1-5页 |
| Abstract | 第5-9页 |
| 1 绪论 | 第9-16页 |
| ·研究背景 | 第9页 |
| ·研究现状 | 第9-12页 |
| ·文本重复的概述 | 第9-10页 |
| ·文本重复的模式 | 第10-11页 |
| ·文本重复的问题 | 第11-12页 |
| ·研究进展 | 第12-14页 |
| ·本文贡献 | 第14页 |
| ·文章结构 | 第14-16页 |
| 2 文本去重算法介绍 | 第16-28页 |
| ·国内外文本去重的算法 | 第16-22页 |
| ·SCAM算法介绍 | 第16-17页 |
| ·DSC和DSC-SS算法介绍 | 第17-18页 |
| ·I-Match算法介绍 | 第18页 |
| ·北大天网去重算法 | 第18-19页 |
| ·基于特征串的网页去重算法 | 第19-20页 |
| ·基于特征句抽取的网页去重研究 | 第20-22页 |
| ·文本去重的问题分析 | 第22-28页 |
| ·文本特征提取方式 | 第22-24页 |
| ·文本块的问题 | 第24-25页 |
| ·系统效率问题 | 第25-28页 |
| 3 基于节点重复的网页去噪 | 第28-34页 |
| ·网页去噪算法思想 | 第28-30页 |
| ·相似构型网页聚类 | 第30-31页 |
| ·基于节点重复的去噪流程 | 第31-32页 |
| ·效果分析 | 第32-34页 |
| 4 基于最大块的大规模网页去重算法 | 第34-39页 |
| ·大规模网页去重算法流程 | 第34-35页 |
| ·传统算法 | 第35页 |
| ·最长公共子串算法 | 第35页 |
| ·最长公共子序列算法 | 第35页 |
| ·网页的最大块特征抽取 | 第35-37页 |
| ·大规模重复的特征分析 | 第35-36页 |
| ·网页最大块抽取思想和流程 | 第36-37页 |
| ·实验结果分析 | 第37-39页 |
| ·实验语料和评价手段 | 第37-38页 |
| ·结果分析 | 第38-39页 |
| 5 大规模网页去重的性能优化 | 第39-45页 |
| ·大规模去重算法性能考虑 | 第39页 |
| ·特征码映射算法介绍 | 第39-41页 |
| ·基于md5签名的特征映射 | 第39-40页 |
| ·基于Bloom Filter算法的特征映射 | 第40-41页 |
| ·基于B-Tree的速度优化 | 第41-43页 |
| ·算法效率比较 | 第43-45页 |
| 6 基于语义结构的科技论文抄袭检测 | 第45-55页 |
| ·研究背景 | 第45页 |
| ·研究背景算法思想与流程 | 第45-47页 |
| ·文本处理算法概述 | 第45-46页 |
| ·科技论文检测思想和流程 | 第46-47页 |
| ·基于主题词的论文分类 | 第47-48页 |
| ·基于章节划分的相似度计算 | 第48-50页 |
| ·相似度计算方法 | 第48-49页 |
| ·基于滑动窗口的加权相似度算法 | 第49-50页 |
| ·效果检验 | 第50-55页 |
| ·实验语料 | 第50-51页 |
| ·结果分析 | 第51-55页 |
| 结论 | 第55-56页 |
| 参考文献 | 第56-59页 |
| 攻读硕士学位期间发表学术论文情况 | 第59-60页 |
| 致谢 | 第60-61页 |
