首页--工业技术论文--自动化技术、计算机技术论文--计算技术、计算机技术论文--计算机的应用论文--计算机网络论文--一般性问题论文

基于Nutch的分布式爬虫研究与优化

摘要第2-3页
Abstract第3-4页
第1章 绪论第7-11页
    1.1 研究目的和意义第7页
    1.2 国内外研究现状第7-9页
    1.3 主要研究内容第9-10页
    1.4 论文结构第10-11页
第2章 Nutch与Hadoop研究第11-25页
    2.1 Nutch第11-15页
        2.1.1 Nutch体系结构第11-12页
        2.1.2 Nutch爬虫系统第12-14页
        2.1.3 Nutch网页更新机制第14-15页
    2.2 Hadoop分布式平台第15-24页
        2.2.1 分布式文件系统(HDFS)第15-18页
        2.2.2 资源管理系统YARN第18-21页
        2.2.3 Map Reduce第21-24页
    2.3 本章小结第24-25页
第3章 网页更新预测相关研究第25-35页
    3.1 网页更新第25-28页
        3.1.1 网页库时新性和过时度第25-26页
        3.1.2 网页更新频率第26页
        3.1.3 网页更新策略第26-28页
    3.2 泊松过程第28页
        3.2.1 泊松过程简介第28页
    3.3 聚类算法第28-34页
        3.3.1 聚类的划分第28-31页
        3.3.2 DBSCAN聚类算法第31-34页
    3.4 本章小结第34-35页
第4章 基于Nutch的爬虫优化第35-45页
    4.1 Proxy IP动态更换模块实现第35-37页
        4.1.1 Proxy IP库第35页
        4.1.2 Proxy IP库运行流程介绍第35-36页
        4.1.3 Proxy IP有效性标识向量第36页
        4.1.4 质量系数第36页
        4.1.5 Proxy IP动态更换第36-37页
    4.2 网页更新预测优化第37-44页
        4.2.1 动态选择策略第37-38页
        4.2.2 基于Map Reduce的DBSCAN算法第38-43页
        4.2.3 基于泊松过程的网页更新预测第43-44页
    4.3 本章小结第44-45页
第5章 实验与结果分析第45-56页
    5.1 实验环境第45-50页
        5.1.1 硬件环境第45页
        5.1.2 系统部署第45-50页
    5.2 实验测试第50-55页
        5.2.1 Proxy IP动态更换模块实验第50-52页
        5.2.2 网页更新预测实验第52-54页
        5.2.3 爬虫系统性能实验第54-55页
    5.3 实验结果分析第55页
    5.4 本章小结第55-56页
第6章 总结与展望第56-58页
参考文献第58-60页
攻读硕士学位期间取得的研究成果第60-61页
致谢第61-63页
附件第63页

论文共63页,点击 下载论文
上一篇:代际传承—吴门文氏家族的书画教育
下一篇:龙视珠江艺校组织和运营规划研究