| 摘要 | 第5-6页 |
| Abstract | 第6页 |
| 第1章 绪论 | 第10-16页 |
| 1.1 选题背景及意义 | 第10-11页 |
| 1.2 国内外研究现状 | 第11-13页 |
| 1.2.1 国外研究现状 | 第11-12页 |
| 1.2.2 国内研究现状 | 第12-13页 |
| 1.3 本文的主要工作及内容 | 第13-14页 |
| 1.4 本文的组织结构 | 第14-16页 |
| 第2章 网络爬虫相关模型研究 | 第16-30页 |
| 2.1 爬虫相关知识 | 第16-17页 |
| 2.2 通用爬虫模型 | 第17-18页 |
| 2.3 主题爬虫相关模型 | 第18-20页 |
| 2.4 主题判别模块 | 第20-24页 |
| 2.4.1 布尔逻辑模型 | 第20-21页 |
| 2.4.2 概率模型 | 第21-22页 |
| 2.4.3 向量空间模型 | 第22-23页 |
| 2.4.4 TF-IDF算法 | 第23-24页 |
| 2.5 页面下载模块 | 第24-26页 |
| 2.5.1 Http协议 | 第24页 |
| 2.5.2 DNS解析 | 第24-25页 |
| 2.5.3 Robots协议 | 第25-26页 |
| 2.6 页面分析模块 | 第26-27页 |
| 2.7 Hadoop相关介绍 | 第27-29页 |
| 2.7.1 MapReduce编程模型 | 第27-28页 |
| 2.7.2 HDFS分布式文件系统 | 第28-29页 |
| 2.8 本章小结 | 第29-30页 |
| 第3章 面向IT分布式爬虫主题模块设计 | 第30-40页 |
| 3.1 文本分类相关介绍 | 第30-31页 |
| 3.2 分类算法及特征选择方法 | 第31-36页 |
| 3.2.1 常见的文本分类算法 | 第31-33页 |
| 3.2.2 特征选择方法 | 第33-36页 |
| 3.3 实验设计 | 第36-37页 |
| 3.3.1 数据来源及预处理 | 第36页 |
| 3.3.2 分类器选择及评价指标 | 第36-37页 |
| 3.3.3 实验结果及分析 | 第37页 |
| 3.4 主题爬虫的主题模块设计 | 第37-39页 |
| 3.4.1 特征选择 | 第37-38页 |
| 3.4.2 特征向量的构建 | 第38页 |
| 3.4.3 主题模块的设计的具体步骤 | 第38-39页 |
| 3.5 本章小结 | 第39-40页 |
| 第4章 面向IT分布式爬虫搜索策略设计 | 第40-50页 |
| 4.1 主题网页的链接特性 | 第40-41页 |
| 4.1.1 Hub特性 | 第40页 |
| 4.1.2 Sibling/Linkage Locality特性 | 第40-41页 |
| 4.1.3 站点主题特性 | 第41页 |
| 4.1.4 隧道特性 | 第41页 |
| 4.2 基于链接的搜索策略 | 第41-44页 |
| 4.2.1 PageRank算法 | 第42-43页 |
| 4.2.2 HITS算法 | 第43-44页 |
| 4.3 与网页内容因素相关的爬行策略 | 第44-46页 |
| 4.3.1 网页内容因素 | 第44-45页 |
| 4.3.2 基于网页内容的主题搜索策略 | 第45-46页 |
| 4.4 主题爬虫爬行算法设计 | 第46-49页 |
| 4.4.1 PageRank算法与Shark-Search算法存在的问题 | 第46-47页 |
| 4.4.2 对PageRank算法与Shark-Search算法的改进 | 第47-49页 |
| 4.5 本章小结 | 第49-50页 |
| 第5章 面向IT的分布式主题爬虫设计及实现 | 第50-60页 |
| 5.1 相关介绍 | 第50-52页 |
| 5.1.1 开源爬虫比较 | 第50-51页 |
| 5.1.2 Nutch项目介绍 | 第51页 |
| 5.1.3 Nutch中的相关数据结构及概念 | 第51-52页 |
| 5.2 Nutch系统架构模型 | 第52-53页 |
| 5.3 基于Nutch的主题爬虫的设计 | 第53-54页 |
| 5.4 基于Nutch的主题爬虫的实现 | 第54-55页 |
| 5.4.1 软硬件环境 | 第54页 |
| 5.4.2 系统开发相关问题 | 第54-55页 |
| 5.5 系统测试 | 第55-58页 |
| 5.5.1 Nutch集群测试 | 第55-56页 |
| 5.5.2 中文分词模块测试 | 第56-57页 |
| 5.5.3 主题爬虫查准率测试 | 第57-58页 |
| 5.6 本章小结 | 第58-60页 |
| 第6章 总结与展望 | 第60-62页 |
| 6.1 本文总结 | 第60页 |
| 6.2 未来工作展望 | 第60-62页 |
| 参考文献 | 第62-68页 |
| 致谢 | 第68-69页 |
| 攻读硕士学位期间取得的成果 | 第69页 |
