基于主题的网络蜘蛛的设计与实现
| 中文摘要 | 第1-6页 |
| ABSTRACT | 第6-9页 |
| 1 引言 | 第9-16页 |
| ·基于主题的网络蜘蛛 | 第11-13页 |
| ·主题蜘蛛的研究与发展现况 | 第13-14页 |
| ·本文的主要工作 | 第14页 |
| ·本文将内容主要组织为六个部分: | 第14-16页 |
| 2 相关技术 | 第16-30页 |
| ·主题蜘蛛的搜索策略 | 第16-20页 |
| ·基于文字内容评价的搜索策略 | 第16-17页 |
| ·基于链接结构评价的搜索策略 | 第17-19页 |
| ·基于分类器评价的搜索策略 | 第19页 |
| ·三种主题搜索策略比较 | 第19-20页 |
| ·相关度计算 | 第20-22页 |
| ·向量空间模型 | 第20-21页 |
| ·基于关键词的相关度计算 | 第21-22页 |
| ·基于概念的相关度计算 | 第22页 |
| ·网页信息提取技术 | 第22-27页 |
| ·HTML语言 | 第23-24页 |
| ·标签树 | 第24页 |
| ·HTML内容分块技术 | 第24-26页 |
| ·正文块提取 | 第26-27页 |
| ·中文分词 | 第27-29页 |
| ·基于字典的分词方法 | 第27-28页 |
| ·基于词频统计的分词方法 | 第28-29页 |
| ·本章小结 | 第29-30页 |
| 3 基于主题的蜘蛛概要设计 | 第30-38页 |
| ·系统概述 | 第30页 |
| ·系统目标 | 第30页 |
| ·需求描述 | 第30页 |
| ·总体设计 | 第30-34页 |
| ·基本设计概念 | 第30页 |
| ·系统流程 | 第30-31页 |
| ·系统总体结构 | 第31-32页 |
| ·模块功能分配 | 第32-34页 |
| ·接口设计 | 第34-35页 |
| ·外部接口 | 第34页 |
| ·内部接口 | 第34-35页 |
| ·数据库设计 | 第35-37页 |
| ·本章小结 | 第37-38页 |
| 4 主题蜘蛛实现细节 | 第38-48页 |
| ·控制模块 | 第38-40页 |
| ·爬行模块 | 第40-43页 |
| ·爬行线程 | 第40-42页 |
| ·重复检测 | 第42-43页 |
| ·存储模块 | 第43-44页 |
| ·过滤模块 | 第44-47页 |
| ·相关度计算 | 第44-45页 |
| ·中文分词 | 第45-47页 |
| ·本章小结 | 第47-48页 |
| 5 主题蜘蛛性能分析 | 第48-50页 |
| ·本章小结 | 第49-50页 |
| 6 主题词典 | 第50-52页 |
| ·主题词典的建立 | 第50-51页 |
| ·主题词典的维护 | 第51页 |
| ·本章小结 | 第51-52页 |
| 7 结论 | 第52-53页 |
| 参考文献 | 第53-54页 |
| 索引 | 第54-55页 |
| 作者简历 | 第55-57页 |
| 学位论文数据集 | 第57页 |
