主题爬虫URL分析模型与调度技术研究
| 摘要 | 第1-6页 |
| Abstract | 第6-9页 |
| 第1章 绪论 | 第9-15页 |
| ·课题研究背景 | 第9-12页 |
| ·课题研究意义 | 第12-13页 |
| ·论文研究内容 | 第13-14页 |
| ·论文组织结构 | 第14-15页 |
| 第2章 主题爬虫URL分析模型及调度技术研究现状 | 第15-30页 |
| ·引言 | 第15页 |
| ·URL分析模型研究现状 | 第15-25页 |
| ·基于内容评价的模型 | 第15-20页 |
| ·基于链接评价的模型 | 第20-23页 |
| ·基于分类器预测的模型 | 第23-25页 |
| ·其它分析模型 | 第25页 |
| ·URL调度技术研究现状 | 第25-29页 |
| ·Larbin爬虫 | 第26-27页 |
| ·北大天网爬虫 | 第27页 |
| ·基于双哈希算法的调度 | 第27-28页 |
| ·基于GNP算法的调度 | 第28-29页 |
| ·本章小结 | 第29-30页 |
| 第3章 内容评价与链接评价相结合的URL分析模型 | 第30-46页 |
| ·引言 | 第30页 |
| ·文档预处理过程 | 第30-35页 |
| ·中文分词 | 第31-33页 |
| ·特征提取 | 第33-34页 |
| ·权重计算 | 第34-35页 |
| ·内容评价与链接评价相结合的URL分析模型 | 第35-40页 |
| ·QM模型 | 第35-36页 |
| ·内容评价与链接评价相结合的URL分析模型 | 第36-40页 |
| ·实验结果与分析 | 第40-45页 |
| ·实验步骤 | 第40-41页 |
| ·实验结果 | 第41-43页 |
| ·实验分析 | 第43-45页 |
| ·本章小结 | 第45-46页 |
| 第4章 面向多节点并行爬取的URL调度方案 | 第46-58页 |
| ·引言 | 第46页 |
| ·节点间URL调度方案 | 第46-54页 |
| ·URL去重 | 第46-48页 |
| ·URL主题相关性计算 | 第48页 |
| ·URL分配 | 第48-53页 |
| ·URL传输 | 第53-54页 |
| ·节点内URL调度方案 | 第54-55页 |
| ·DNS查询 | 第54页 |
| ·队列设置 | 第54-55页 |
| ·实验结果与分析 | 第55-57页 |
| ·实验步骤 | 第55页 |
| ·实验结果 | 第55-56页 |
| ·实验分析 | 第56-57页 |
| ·本章小结 | 第57-58页 |
| 结论 | 第58-59页 |
| 参考文献 | 第59-63页 |
| 攻读硕士学位期间发表的论文和取得的科研成果 | 第63-64页 |
| 致谢 | 第64页 |
