一种通用的网页内容抽取模块的设计与实现
| 摘要 | 第4-5页 |
| ABSTRACT | 第5-6页 |
| 第1章 绪论 | 第9-14页 |
| 1.1 课题背景和意义 | 第9页 |
| 1.2 国内外研究现状 | 第9-11页 |
| 1.3 实际项目需求 | 第11页 |
| 1.4 研究内容 | 第11-13页 |
| 1.4.1 页面格式化抽取 | 第11-12页 |
| 1.4.2 页面数据来源 | 第12-13页 |
| 1.4.3 抽取结果的保存 | 第13页 |
| 1.5 论文结构安排 | 第13-14页 |
| 第2章 相关技术 | 第14-25页 |
| 2.1 页面格式化抽取 | 第14-16页 |
| 2.1.1 格式化抽取的含义 | 第14页 |
| 2.1.2 格式化抽取技术 | 第14-16页 |
| 2.2 DOM | 第16-21页 |
| 2.2.1 DOM简介 | 第16-19页 |
| 2.2.2 JSoup简介 | 第19-20页 |
| 2.2.3 SAX简介 | 第20-21页 |
| 2.3 Ajax框架 | 第21-23页 |
| 2.3.1 Ajax简介 | 第21-22页 |
| 2.3.2 Ajax的工作原理 | 第22页 |
| 2.3.3 Ajax给页面抽取带来的挑战 | 第22-23页 |
| 2.4 本章小结 | 第23-25页 |
| 第3章 页面抽取模块的设计 | 第25-37页 |
| 3.1 抽取流程设计 | 第25-32页 |
| 3.1.1 页面获取与过滤 | 第26页 |
| 3.1.2 页面解析与抽取 | 第26-32页 |
| 3.1.3 页面索引与存储 | 第32页 |
| 3.2 系统模型设计 | 第32-34页 |
| 3.2.1 抽取模块 | 第33页 |
| 3.2.2 索引模块 | 第33-34页 |
| 3.3 系统流程优化 | 第34-36页 |
| 3.3.1 流程分析 | 第34页 |
| 3.3.2 流程优化 | 第34-36页 |
| 3.4 本章小结 | 第36-37页 |
| 第4章 页面抽取模块的实现 | 第37-56页 |
| 4.1 系统主体的实现 | 第37-39页 |
| 4.1.1 抽取系统主体设计 | 第37-38页 |
| 4.1.2 并行抽取方法的详细设计 | 第38-39页 |
| 4.2 静态简单页面抽取模块 | 第39-45页 |
| 4.2.1 配置文件的设计与实现 | 第39-42页 |
| 4.2.2 抽取过程的实现 | 第42-45页 |
| 4.3 静态自相似页面抽取模块 | 第45-50页 |
| 4.3.1 配置文件的设计与实现 | 第45页 |
| 4.3.2 抽取流程的详细设计与实现 | 第45-50页 |
| 4.4 动态页面抽取模块 | 第50-53页 |
| 4.4.1 HtmlUnit简介 | 第50-51页 |
| 4.4.2 动态页面静态化 | 第51-52页 |
| 4.4.3 页面抽取 | 第52-53页 |
| 4.5 索引存储模块 | 第53-55页 |
| 4.5.1 索引存储模块的实现 | 第53-54页 |
| 4.5.2 增量全量更新策略 | 第54-55页 |
| 4.6 本章小结 | 第55-56页 |
| 第5章 测试和结果分析 | 第56-63页 |
| 5.1 测试环境 | 第56-57页 |
| 5.2 静态简单页面抽取测试 | 第57-59页 |
| 5.3 静态自相似页面及动态页面抽取测试 | 第59-61页 |
| 5.4 本章小结 | 第61-63页 |
| 第6章 结束语 | 第63-65页 |
| 6.1 总结 | 第63-64页 |
| 6.2 展望 | 第64-65页 |
| 参考文献 | 第65-67页 |
| 致谢 | 第67页 |
