网页消重技术的研究与实现
| 摘要 | 第1-5页 |
| Abstract | 第5-9页 |
| 第一章 引言 | 第9-13页 |
| ·互联网的发展 | 第9-10页 |
| ·搜索引擎技术介绍 | 第10页 |
| ·网页消重由来 | 第10-11页 |
| ·本文研究工作 | 第11-12页 |
| ·本文组织 | 第12-13页 |
| 第二章 网页消重技术的研究现状 | 第13-22页 |
| ·网页消重技术起源 | 第13-14页 |
| ·网页重复的特点 | 第14-15页 |
| ·网页消重关键技术 | 第15-16页 |
| ·抽取网页正文 | 第15-16页 |
| ·特征值抽取 | 第16页 |
| ·计算网页相似度 | 第16页 |
| ·国内外研究现状 | 第16-22页 |
| ·国外消重算法介绍 | 第16-18页 |
| ·国内消重算法介绍 | 第18-22页 |
| 第三章 网页正文抽取算法 | 第22-37页 |
| ·WEB 页面分析 | 第24-27页 |
| ·HTML | 第24-25页 |
| ·DOM | 第25-26页 |
| ·WEB 页面特点 | 第26-27页 |
| ·正文抽取算法 | 第27-33页 |
| ·网页预处理 | 第27-28页 |
| ·网页分块 | 第28页 |
| ·分块聚合 | 第28-30页 |
| ·分块过滤 | 第30-33页 |
| ·算法实验 | 第33-37页 |
| ·准确率测试 | 第34-35页 |
| ·效率测试 | 第35-37页 |
| 第四章 网页消重算法 | 第37-62页 |
| ·基于字频特征的网页消重算法 | 第37-51页 |
| ·字频特征提取 | 第38-41页 |
| ·字频消重算法 | 第41-50页 |
| ·算法分析 | 第50-51页 |
| ·基于分段特征的网页消重算法 | 第51-58页 |
| ·正文分段 | 第52页 |
| ·分段特征提取 | 第52-54页 |
| ·分段消重算法 | 第54-57页 |
| ·算法分析 | 第57-58页 |
| ·在线消重算法 | 第58-62页 |
| ·算法实现 | 第58-60页 |
| ·实验及算法分析 | 第60-62页 |
| 第五章 消重算法实验比较及分析 | 第62-74页 |
| ·消重算法评判标准 | 第62页 |
| ·实验结果及分析 | 第62-74页 |
| ·个体测试 | 第62-67页 |
| ·批量测试 | 第67-74页 |
| 第六章 结论与展望 | 第74-76页 |
| ·结论 | 第74-75页 |
| ·下一步展望 | 第75-76页 |
| 致谢 | 第76-77页 |
| 参考文献 | 第77-81页 |
