Web漏洞扫描系统中的智能爬虫技术研究
摘要 | 第1-6页 |
ABSTRACT | 第6-9页 |
第一章 绪论 | 第9-14页 |
·选题的背景 | 第9-10页 |
·国内外研究现状及意义 | 第10-12页 |
·研究现状 | 第10-12页 |
·研究意义 | 第12页 |
·论文的主要内容与组织结构 | 第12-14页 |
第二章 网络爬虫相关技术 | 第14-22页 |
·网络爬虫基本概念 | 第14页 |
·网页抓取策略 | 第14-15页 |
·深度优先策略 | 第14-15页 |
·广度优先策略 | 第15页 |
·最佳优先策略 | 第15页 |
·网络爬虫分类 | 第15-20页 |
·通用爬虫 | 第15-16页 |
·聚焦爬虫 | 第16-19页 |
·深度爬虫 | 第19-20页 |
·Web 漏洞扫描系统中的爬虫 | 第20-21页 |
·本章小结 | 第21-22页 |
第三章 智能爬虫的爬行策略探索 | 第22-31页 |
·Web 漏洞扫描系统概述 | 第22-23页 |
·基于属性标签的 Web 数据挖掘 | 第23-24页 |
·已有 Web 数据挖掘的方法 | 第23-24页 |
·基于属性标签的 Web 数据挖掘的方法提出 | 第24页 |
·建立带属性标签的 DOM 树 | 第24-25页 |
·HTML 页面预处理 | 第25页 |
·建立 DOM 树 | 第25页 |
·挖掘数据域 | 第25-30页 |
·识别重复模式 | 第26-28页 |
·排除干扰重复模式 | 第28页 |
·重要性函数 | 第28-30页 |
·实验与分析 | 第30页 |
·本章小结 | 第30-31页 |
第四章 应用于 Web 数据挖掘的编辑距离 | 第31-44页 |
·树结构编辑距离 | 第31-38页 |
·树的编辑配对 | 第32-33页 |
·树编辑距离的算法 | 第33-37页 |
·空间复杂度分析 | 第37页 |
·时间复杂度分析 | 第37-38页 |
·字符串编辑距离 | 第38-42页 |
·字符串编辑距离 | 第38-40页 |
·字符串编辑距离算法 | 第40页 |
·算法改进 | 第40-41页 |
·算法优化 | 第41-42页 |
·相似度函数 | 第42页 |
·实验与分析 | 第42-43页 |
·本章小结 | 第43-44页 |
第五章 智能爬虫设计与实现 | 第44-57页 |
·智能爬虫设计 | 第44-45页 |
·编程环境 | 第44-45页 |
·智能爬虫概述 | 第45页 |
·下载页面收集模块 | 第45-48页 |
·模块详述 | 第45-46页 |
·实验演示 | 第46-48页 |
·解析模块 | 第48-51页 |
·提取 URL 模块 | 第51-55页 |
·基于属性标签的 Web 数据挖掘算法实现 | 第51-54页 |
·基于属性标签的 Web 数据挖掘算法演示 | 第54页 |
·基于编辑距离的 Web 数据挖掘算法实现 | 第54-55页 |
·基于编辑距离的 Web 数据挖掘算法演示 | 第55页 |
·本章小结 | 第55-57页 |
第六章 总结与展望 | 第57-59页 |
致谢 | 第59-60页 |
参考文献 | 第60-64页 |
附录 | 第64页 |