摘要 | 第2-3页 |
Abstract | 第3-4页 |
第1章 绪论 | 第7-11页 |
1.1 研究目的和意义 | 第7页 |
1.2 国内外研究现状 | 第7-9页 |
1.3 主要研究内容 | 第9-10页 |
1.4 论文结构 | 第10-11页 |
第2章 Nutch与Hadoop研究 | 第11-25页 |
2.1 Nutch | 第11-15页 |
2.1.1 Nutch体系结构 | 第11-12页 |
2.1.2 Nutch爬虫系统 | 第12-14页 |
2.1.3 Nutch网页更新机制 | 第14-15页 |
2.2 Hadoop分布式平台 | 第15-24页 |
2.2.1 分布式文件系统(HDFS) | 第15-18页 |
2.2.2 资源管理系统YARN | 第18-21页 |
2.2.3 Map Reduce | 第21-24页 |
2.3 本章小结 | 第24-25页 |
第3章 网页更新预测相关研究 | 第25-35页 |
3.1 网页更新 | 第25-28页 |
3.1.1 网页库时新性和过时度 | 第25-26页 |
3.1.2 网页更新频率 | 第26页 |
3.1.3 网页更新策略 | 第26-28页 |
3.2 泊松过程 | 第28页 |
3.2.1 泊松过程简介 | 第28页 |
3.3 聚类算法 | 第28-34页 |
3.3.1 聚类的划分 | 第28-31页 |
3.3.2 DBSCAN聚类算法 | 第31-34页 |
3.4 本章小结 | 第34-35页 |
第4章 基于Nutch的爬虫优化 | 第35-45页 |
4.1 Proxy IP动态更换模块实现 | 第35-37页 |
4.1.1 Proxy IP库 | 第35页 |
4.1.2 Proxy IP库运行流程介绍 | 第35-36页 |
4.1.3 Proxy IP有效性标识向量 | 第36页 |
4.1.4 质量系数 | 第36页 |
4.1.5 Proxy IP动态更换 | 第36-37页 |
4.2 网页更新预测优化 | 第37-44页 |
4.2.1 动态选择策略 | 第37-38页 |
4.2.2 基于Map Reduce的DBSCAN算法 | 第38-43页 |
4.2.3 基于泊松过程的网页更新预测 | 第43-44页 |
4.3 本章小结 | 第44-45页 |
第5章 实验与结果分析 | 第45-56页 |
5.1 实验环境 | 第45-50页 |
5.1.1 硬件环境 | 第45页 |
5.1.2 系统部署 | 第45-50页 |
5.2 实验测试 | 第50-55页 |
5.2.1 Proxy IP动态更换模块实验 | 第50-52页 |
5.2.2 网页更新预测实验 | 第52-54页 |
5.2.3 爬虫系统性能实验 | 第54-55页 |
5.3 实验结果分析 | 第55页 |
5.4 本章小结 | 第55-56页 |
第6章 总结与展望 | 第56-58页 |
参考文献 | 第58-60页 |
攻读硕士学位期间取得的研究成果 | 第60-61页 |
致谢 | 第61-63页 |
附件 | 第63页 |