基于Hadoop分布式网络爬虫技术的研究
| 摘要 | 第1-6页 |
| Abstract | 第6-11页 |
| 1 绪论 | 第11-15页 |
| ·课题研究背景 | 第11-12页 |
| ·课题的研究意义 | 第12页 |
| ·国内外研究现状 | 第12-14页 |
| ·Hadoop相关技术的国内外研究现状 | 第12-13页 |
| ·分布式爬虫研究现状 | 第13-14页 |
| ·本文的主要组织和结构 | 第14-15页 |
| 2 网络爬虫与分布式系统相关技术研究 | 第15-23页 |
| ·Hadoop分布式平台 | 第15-19页 |
| ·分布式文件系统HDFS | 第15-17页 |
| ·Map/Reduce分布式计算模型 | 第17-19页 |
| ·网络爬虫原理 | 第19-22页 |
| ·网络爬虫的物理结构 | 第19页 |
| ·网络爬虫的基本结构 | 第19-21页 |
| ·分布式网络爬虫 | 第21-22页 |
| ·本章小结 | 第22-23页 |
| 3 分布式网络爬虫设计 | 第23-37页 |
| ·分布式网络爬虫架构设计 | 第23-27页 |
| ·单线程网络爬虫 | 第23-25页 |
| ·分布式网络爬虫结构设计 | 第25-27页 |
| ·分布式网络爬虫的核心算法 | 第27-32页 |
| ·网页多线程抓取机制 | 第27-28页 |
| ·改进的网页权重评估算法 | 第28-29页 |
| ·DNS缓存 | 第29-31页 |
| ·URL去重算法 | 第31-32页 |
| ·网页更新算法 | 第32页 |
| ·分布式网络爬虫模块设计 | 第32-35页 |
| ·URL初始化功能模块化设计 | 第32-33页 |
| ·分布式爬虫循环抓取模块设计 | 第33-35页 |
| ·分布式网络爬虫数据存储设计 | 第35页 |
| ·本章小结 | 第35-37页 |
| 4 分布式爬虫具体实现 | 第37-47页 |
| ·Hadoop环境搭建 | 第37-38页 |
| ·Hadoop硬件环境和物理结构 | 第37页 |
| ·Hadoop集群实践环境 | 第37-38页 |
| ·分布式网络爬虫控制界面实现 | 第38-39页 |
| ·分布式网络爬虫各模块的具体实现 | 第39-46页 |
| ·种子URL插入模块实现 | 第40-42页 |
| ·URL任务列表生成模块实现 | 第42-43页 |
| ·网页抓取模块实现 | 第43-45页 |
| ·数据更新模块实现 | 第45-46页 |
| ·分布式爬虫抓取结果 | 第46页 |
| ·本章小结 | 第46-47页 |
| 5 性能测试分析 | 第47-53页 |
| ·网络爬虫线程性能测试与分析 | 第47-48页 |
| ·DNS缓存技术性能测试与分析 | 第48页 |
| ·URL权重计算算法比较测试与分析 | 第48-49页 |
| ·爬虫节点的性能测试与分析 | 第49-51页 |
| ·爬虫对比测试与分析 | 第51页 |
| ·本章小结 | 第51-53页 |
| 结论和展望 | 第53-55页 |
| 参考文献 | 第55-57页 |
| 致谢 | 第57-59页 |
| 作者简介及读研期间主要科研成果 | 第59页 |
