首页--工业技术论文--自动化技术、计算机技术论文--计算技术、计算机技术论文--计算机的应用论文--信息处理(信息加工)论文--检索机论文

基于深度网络的信息爬取研究及应用

摘要第5-6页
ABSTRACT第6-7页
第一章 绪论第11-16页
    1.1 研究背景与意义第11-12页
    1.2 国内外研究现状第12-14页
    1.3 本文主要研究内容第14-15页
    1.4 本文结构安排第15-16页
第二章 关键词选择算法和爬虫技术基础第16-31页
    2.1 自适应贪婪选算法第16-23页
        2.1.1 深度网络关键词查询模型第16-18页
        2.1.2 深度网络爬虫算法第18页
        2.1.3 深度网络关键词选择第18-20页
        2.1.4 关键词匹配文档比例估计第20-21页
        2.1.5 关键词选取策略第21-22页
        2.1.6 返回结果受限制网络中的贪婪选词法第22-23页
    2.2 文档下载技术第23页
    2.3 URL去重技术第23-26页
        2.3.1 基于内存数据库的去重方式第24-25页
        2.3.2 基于布隆过滤器的去重方式第25-26页
    2.4 文档信息抽取技术第26-29页
        2.4.1 基于正则表达式的抽取信息方式第27-28页
        2.4.2 基于文档去噪抽取信息方式第28-29页
        2.4.3 基于Web文档半结构化属性抽取信息方式第29页
    2.5 本章小结第29-31页
第三章 改进的深度网络查询关键词选择算法第31-42页
    3.1 基于相关度筛选的自适应贪婪算法第31-36页
        3.1.1 自适应贪婪算法的不足第31-32页
        3.1.2 基于关键词相关度筛选的自适应贪婪算法第32-35页
        3.1.3 测试方案设计第35-36页
    3.2 关键词加权选词算法第36-41页
        3.2.1 文档和关键词对应的无向图模型第36-37页
        3.2.2 自适应贪婪算法在返回结果受限制网络中的不足第37页
        3.2.3 基于关键词加权的选词法第37-40页
        3.2.4 返回结果受限制网络中的爬虫算法第40-41页
        3.2.5 测试方案设计第41页
    3.3 本章小结第41-42页
第四章 爬虫系统的设计与实现第42-58页
    4.1 爬虫系统整体架构第42-44页
    4.2 线程管理模块实现第44-45页
    4.3 配置管理模块实现第45页
    4.4 文档下载模块实现第45-47页
    4.5 信息抽取模块实现第47-49页
        4.5.1 文档中超链接的抽取第47页
        4.5.2 文档中文本信息抽取第47-49页
    4.6 文本缓存模块实现第49-50页
    4.7 URL管理模块实现第50-52页
        4.7.1 URL去重管理模块实现第50-51页
        4.7.2 URL调度模块实现第51-52页
    4.8 查询请求生成模块设计与实现第52-57页
        4.8.1 文本分词模块设计第52-53页
        4.8.2 选词算法模块设计与实现第53-57页
        4.8.3 查询URL的合成第57页
    4.9 本章小结第57-58页
第五章 测试与验证第58-68页
    5.1 爬虫测试第58-60页
    5.2 基于关键词相关度筛选的自适应贪婪算法的测试第60-63页
    5.3 关键词加权选词法在返回结果受限制网络的测试第63-67页
    5.4 本章小结第67-68页
第六章 总结与展望第68-70页
    6.1 工作总结第68-69页
    6.2 未来展望第69-70页
致谢第70-71页
参考文献第71-74页

论文共74页,点击 下载论文
上一篇:金融财务管理系统
下一篇:基于CIS的高精度大幅面扫描仪软件系统的设计与实现