首页--工业技术论文--自动化技术、计算机技术论文--计算技术、计算机技术论文--计算机的应用论文--计算机网络论文--一般性问题论文

基于手机的分布式爬虫系统设计与实现

摘要第8-9页
ABSTRACT第9页
第一章 绪论第10-19页
    1.1 研究背景第10-15页
        1.1.1 我国互联网及手机上网发展情况第10-14页
        1.1.2 网络爬虫研究现状第14-15页
        1.1.3 网络爬虫的优势及不足第15页
    1.2 本文工作第15-17页
        1.2.1 研究目标第16页
        1.2.2 研究内容第16-17页
    1.3 论文结构第17-19页
第二章 网络爬虫相关工作概述第19-30页
    2.1 垂直爬虫第19-23页
        2.1.1 垂直爬虫简介第19-20页
        2.1.2 垂直爬虫的架构第20-21页
        2.1.3 垂直爬虫的工作原理第21-22页
        2.1.4 垂直爬虫的搜索策略第22-23页
        2.1.5 小结第23页
    2.2 分布式爬虫第23-26页
        2.2.1 分布式爬虫简介第23-24页
        2.2.2 分布式爬虫的架构第24-25页
        2.2.3 小结第25-26页
    2.3 现有网络爬虫框架及性能特点第26-28页
        2.3.1 爬虫框架介绍第26-27页
        2.3.2 WebMagic设计原理及机制第27-28页
    2.4 分布式爬虫向手机的移植第28-29页
    2.5 本章小结第29-30页
第三章 基于手机的分布式爬虫平台架构第30-35页
    3.1 设计需求及目标第30-31页
        3.1.1 功能需求第30-31页
        3.1.2 设计目标第31页
    3.2 分布式爬虫的架构第31-34页
        3.2.1 节点中爬虫架构第31-33页
        3.2.2 多节点分布式架构第33-34页
    3.3 本章小结第34-35页
第四章 基于手机的分布式爬虫的关键机制设计第35-42页
    4.1 垂直爬虫的机制设计第35-37页
        4.1.1 基于爬虫策略的数据爬取工作流程第35-36页
        4.1.2 基于数据融合的数据清洗第36-37页
        4.1.3 数据存储机制第37页
    4.2 分布式爬虫的机制设计第37-40页
        4.2.1 动态任务分配模型第37-38页
        4.2.2 动态任务自适应算法第38-40页
    4.3 高效的服务器手机通信机制设计第40-41页
    4.4 本章小结第41-42页
第五章 系统实现及实验分析第42-54页
    5.1 系统实现第42-50页
        5.1.1 总体构架第42-44页
        5.1.2 功能架构第44-45页
        5.1.3 系统支持平台第45-46页
        5.1.4 服务器端实现第46页
        5.1.5 Android客户端的实现第46-47页
        5.1.6 网页前端实现第47-49页
        5.1.7 分布式爬虫系统流程实现第49-50页
    5.2 实验设计第50-51页
    5.3 实验结果及分析第51-53页
    5.4 小结第53-54页
第六章 结论与展望第54-55页
致谢第55-56页
参考文献第56-60页
作者在学期间取得的学术成果第60页

论文共60页,点击 下载论文
上一篇:面向开源社区的Web数据抽取技术研究
下一篇:SDN网络监测关键技术研究