| 摘要 | 第1-4页 |
| Abstract | 第4-7页 |
| 1 绪论 | 第7-13页 |
| ·概述 | 第7-9页 |
| ·Internet发展 | 第7页 |
| ·搜索引擎的发展 | 第7-9页 |
| ·国内外研究现状 | 第9-11页 |
| ·研究内容及本文组织 | 第11-13页 |
| 2 主题爬虫体系结构 | 第13-27页 |
| ·基本流程和组成部分 | 第13-16页 |
| ·基本组成 | 第13-15页 |
| ·基本流程 | 第15-16页 |
| ·主题页面的分布特性 | 第16-17页 |
| ·Hub/Authority特性 | 第16页 |
| ·Linkage/Sibling Locality特性 | 第16页 |
| ·站点的主题特性 | 第16-17页 |
| ·隧道特性 | 第17页 |
| ·搜索策略以及链接提取 | 第17-25页 |
| ·robots协议和相对链接的转换 | 第17-18页 |
| ·搜索策略概述 | 第18-22页 |
| ·结合链接和内容因素的URL分值预测 | 第22-25页 |
| ·本章小结 | 第25-27页 |
| 3 网页预处理 | 第27-45页 |
| ·文本分词 | 第27-29页 |
| ·HTML简介 | 第29-30页 |
| ·网页文件解析 | 第30-34页 |
| ·网页消噪 | 第34-43页 |
| ·相关工作和概念 | 第34-36页 |
| ·标签节点的过滤 | 第36页 |
| ·基于样式的消噪 | 第36-43页 |
| ·本章小结 | 第43-45页 |
| 4 网页分类 | 第45-55页 |
| ·网页分类概述 | 第45-46页 |
| ·训练集和类目体系 | 第46页 |
| ·特征选择 | 第46-49页 |
| ·概述以及部分改进 | 第46-48页 |
| ·改进的特征选择 | 第48-49页 |
| ·权值计算 | 第49-52页 |
| ·TFIDF权值 | 第49页 |
| ·改进的权值公式 | 第49-52页 |
| ·分类算法概述 | 第52-53页 |
| ·本章小结 | 第53-55页 |
| 5 爬虫系统设计 | 第55-66页 |
| ·实现条件和流程详述 | 第55-56页 |
| ·数据表格和存储过程定义 | 第56-60页 |
| ·数据表格定义 | 第56-60页 |
| ·存储过程和触发器的定义 | 第60页 |
| ·程序界面 | 第60-62页 |
| ·程序运行结果以及分析 | 第62-65页 |
| ·本章小结 | 第65-66页 |
| 6 总结与展望 | 第66-68页 |
| ·总结 | 第66页 |
| ·展望 | 第66-68页 |
| 致谢 | 第68-70页 |
| 参考文献 | 第70-73页 |