首页--工业技术论文--自动化技术、计算机技术论文--计算技术、计算机技术论文--计算机软件论文--程序设计、软件工程论文--软件工程论文

基于Selenium的数据自动抓取软件设计与实现

摘要第2-3页
Abstract第3页
1 绪论第6-9页
    1.1 研究背景与意义第6-7页
    1.2 同类软件研究第7-8页
    1.3 本文工作第8页
    1.4 章节安排第8-9页
2 需求分析可行性分析与总体设计第9-16页
    2.1 需求分析第9-10页
        2.1.1 功能需求第9-10页
        2.1.2 性能需求第10页
    2.2 可行性分析第10-11页
        2.2.1 技术可行性第10页
        2.2.2 法律可行性第10-11页
    2.3 总体设计与功能模块划分第11-16页
        2.3.1 浏览器插件模块第12-13页
        2.3.2 脚本引擎模块第13-15页
        2.3.3 用户界面模块第15-16页
3 关键问题研究与解决方案介绍第16-35页
    3.1 基于多属性的XPath表达式优化第16-24页
        3.1.1 XPath表达式的工作原理第16-18页
        3.1.2 XPath表达式的格式扩展第18-21页
        3.1.3 XPath表达式评分规则第21-22页
        3.1.4 XPath表达式的评分函数第22-24页
    3.2 标记网页中的循环元素第24-27页
        3.2.1 循环元素定义第24-25页
        3.2.2 循环元素的识别和标记第25-27页
    3.3 自定义脚本语言第27-32页
        3.3.1 自定义链式语法第28-29页
        3.3.2 栈式对象管理第29-32页
    3.4 基于Chrome插件实现用户操作的程序化表示第32-35页
        3.4.1 筛选网页操作关键信息第32-33页
        3.4.2 获取和处理用户操作第33-35页
4 详细设计第35-55页
    4.1 GUI用户界面模块第35-49页
        4.1.1 浏览器的嵌入与优化第35-36页
        4.1.2 脚本代码同步展示第36-41页
        4.1.3 脚本文件编辑第41-45页
        4.1.4 脚本文件运行第45-46页
        4.1.5 任务管理第46-49页
    4.2 浏览器插件第49-52页
        4.2.1 数据采集流程设置第50-52页
    4.3 引擎模块第52-55页
        4.3.1 生成脚本代码第52-53页
        4.3.2 执行脚本代码第53-55页
5 软件测试第55-61页
    5.1 测试环境第55页
    5.2 功能测试第55-59页
        5.2.1 测试流程第55-56页
        5.2.2 数据采集任务录制测试第56页
        5.2.3 脚本编辑测试第56-57页
        5.2.4 Debug模式测试第57-58页
        5.2.5 任务管理测第58-59页
    5.3 软件的不足之处与改进第59-61页
结论第61-63页
参考文献第63-65页
致谢第65-67页

论文共67页,点击 下载论文
上一篇:中山学院教务系统的设计与实现
下一篇:基于在线评论的泛视频推荐系统的设计与实现