面向web视频的网络爬虫的研究与实现
| 摘要 | 第1-5页 |
| ABSTRACT | 第5-9页 |
| 第一章 绪论 | 第9-14页 |
| ·研究背景和意义 | 第9-10页 |
| ·web 视频搜索的发展及现状 | 第10-11页 |
| ·网络爬虫的发展与现状 | 第11-13页 |
| ·本论文研究的主要内容 | 第13页 |
| ·本文的结构 | 第13-14页 |
| 第二章 相关技术介绍 | 第14-35页 |
| ·基于内容的视频检索 | 第14-18页 |
| ·视频结构的构造 | 第14-17页 |
| ·特征提取 | 第17-18页 |
| ·网络爬虫 | 第18-22页 |
| ·网络爬虫的种类 | 第18-19页 |
| ·爬虫的工作方式 | 第19-20页 |
| ·爬虫的爬行策略 | 第20-22页 |
| ·网页去“噪” | 第22-23页 |
| ·中文分词 | 第23-24页 |
| ·HTML 语言及 HtmlParser | 第24-28页 |
| ·HTML 语言 | 第24-26页 |
| ·用 HtmlParser 处理 HTML 文本 | 第26-28页 |
| ·JPCAP 和 Winpcap | 第28-31页 |
| ·JPCAP | 第28-30页 |
| ·Winpcap | 第30-31页 |
| ·流式传输 | 第31-33页 |
| ·网络数据包的捕获 | 第33-34页 |
| ·数据包捕获概述 | 第33-34页 |
| ·以太网捕获数据包的实现原理 | 第34页 |
| ·本章小结 | 第34-35页 |
| 第三章 系统整体设计 | 第35-40页 |
| ·系统结构设计 | 第35-36页 |
| ·视频信息获取模块 | 第36-37页 |
| ·视频处理模块 | 第37-38页 |
| ·视频分类模块 | 第38-39页 |
| ·检索模块 | 第39页 |
| ·本章小结 | 第39-40页 |
| 第四章 系统实现 | 第40-62页 |
| ·爬虫系统 | 第40-43页 |
| ·任务初始化 | 第40-41页 |
| ·Frontier 链接制造器 | 第41-42页 |
| ·ToePool 线程池 | 第42页 |
| ·处理器和处理链 | 第42-43页 |
| ·页面解析 | 第43-46页 |
| ·提取视频播放地址 | 第44-45页 |
| ·提取与视频相关文字 | 第45-46页 |
| ·中文分词 | 第46-49页 |
| ·视频下载 | 第49-55页 |
| ·真实地址解析器 | 第50-54页 |
| ·视频下载器 | 第54-55页 |
| ·视频标准化 | 第55-59页 |
| ·爬虫的优化 | 第59-61页 |
| ·本章小结 | 第61-62页 |
| 第五章 系统测试 | 第62-69页 |
| ·测试环境 | 第62页 |
| ·爬虫和页面解析测试与分析 | 第62-65页 |
| ·系统测试与分析 | 第65-67页 |
| ·本章小结 | 第67-69页 |
| 第六章 结束语 | 第69-70页 |
| ·总结 | 第69页 |
| ·展望 | 第69-70页 |
| 参考文献 | 第70-73页 |
| 致谢 | 第73-74页 |
