基于特征码的大规模中文网页并行去重方法
| 摘要 | 第1-5页 |
| Abstract | 第5-9页 |
| 第1章 绪论 | 第9-16页 |
| ·课题背景 | 第9页 |
| ·研究目的和意义 | 第9-10页 |
| ·国内外相关技术 | 第10-15页 |
| ·搜索引擎概述 | 第10-11页 |
| ·网页查重技术研究现状 | 第11-15页 |
| ·本文主要研究内容 | 第15-16页 |
| 第2章 网页查重技术 | 第16-25页 |
| ·重复网页分类及检测重复网页的意义 | 第16-17页 |
| ·基于内容的网页查重方法 | 第17-24页 |
| ·SCAM算法 | 第18-19页 |
| ·CHECK方法 | 第19-20页 |
| ·北大天网的查重方法 | 第20-21页 |
| ·基于特征码的网页查重方法 | 第21-23页 |
| ·去重方法比较和分析 | 第23-24页 |
| ·本章小结 | 第24-25页 |
| 第3章 基于特征码的网页去重 | 第25-43页 |
| ·引言 | 第25-26页 |
| ·特征码提取算法 | 第26-33页 |
| ·网页重复度定义 | 第33-37页 |
| ·基于后缀树的网页去重系统 | 第37-42页 |
| ·系统实现 | 第38-40页 |
| ·模糊去重的信息损失 | 第40-42页 |
| ·本章小结 | 第42-43页 |
| 第4章 网页去重系统的并行实现 | 第43-56页 |
| ·引言 | 第43页 |
| ·系统实现的主要问题及框架 | 第43-45页 |
| ·并行系统主要模块 | 第45-55页 |
| ·特征码提取模块 | 第47-48页 |
| ·精确匹配特征码去重模块 | 第48-50页 |
| ·后缀树去重模块 | 第50-55页 |
| ·本章小结 | 第55-56页 |
| 第5章 实验结果与分析 | 第56-72页 |
| ·引言 | 第56页 |
| ·实验环境 | 第56-57页 |
| ·基于特征码的网页去重算法评测 | 第57-68页 |
| ·特征码的抗噪性测试 | 第59-61页 |
| ·算法准确率评测 | 第61-67页 |
| ·系统重复度阈值对准确率和去重率的影响 | 第67-68页 |
| ·并行去重系统正确性验证和性能测试 | 第68-71页 |
| ·并行算法的正确性验证 | 第68-69页 |
| ·并行算法的效率 | 第69-71页 |
| ·本章小结 | 第71-72页 |
| 结论 | 第72-74页 |
| 参考文献 | 第74-79页 |
| 致谢 | 第79页 |
