比价购物平台中网络爬虫的设计与实现
| 摘要 | 第1-6页 |
| Abstract | 第6-9页 |
| 第1章 绪论 | 第9-15页 |
| ·课题背景 | 第9-10页 |
| ·研究目的与意义 | 第10-11页 |
| ·相关研究 | 第11-14页 |
| ·网络爬虫技术研究方向 | 第11-12页 |
| ·网络爬虫的国内外研究现状 | 第12-14页 |
| ·文章结构 | 第14-15页 |
| 第2章 搜索引擎概述 | 第15-19页 |
| ·搜索引擎的历史 | 第15-16页 |
| ·搜索引擎的分类 | 第16-17页 |
| ·搜索引擎的工作原理 | 第17-18页 |
| ·本章小结 | 第18-19页 |
| 第3章 网络爬虫概述 | 第19-26页 |
| ·网络爬虫概述 | 第19页 |
| ·网络爬虫的程序结构 | 第19-20页 |
| ·网络爬虫的分类 | 第20-22页 |
| ·网络爬虫的搜索策略 | 第22-24页 |
| ·开源网络爬虫介绍 | 第24-25页 |
| ·本章小结 | 第25-26页 |
| 第4章 网页文件抓取技术 | 第26-33页 |
| ·深入理解URI,URL | 第26页 |
| ·HTTP协议 | 第26-29页 |
| ·URL去重 | 第29-30页 |
| ·DNS解析 | 第30-31页 |
| ·Robots.txt | 第31-32页 |
| ·本章小结 | 第32-33页 |
| 第5章 网页内容分析方法 | 第33-34页 |
| ·JDK正则表达式分析法 | 第33页 |
| ·HTMLParser分析法 | 第33页 |
| ·本章小结 | 第33-34页 |
| 第6章 数码产品网络爬虫的系统设计与实现 | 第34-54页 |
| ·数码产品网络爬虫体系结构 | 第34-35页 |
| ·定制种子链接 | 第35-37页 |
| ·网页内容抓取 | 第37-42页 |
| ·设定抓取范围 | 第37-38页 |
| ·扩展Frontier类 | 第38-42页 |
| ·网页内容解析 | 第42-45页 |
| ·改造Extractor类 | 第42-43页 |
| ·提取产品属性信息 | 第43-45页 |
| ·产品信息存储 | 第45-52页 |
| ·构建产品词库 | 第45-47页 |
| ·创建产品数据库结构 | 第47-49页 |
| ·创建数据库 | 第49页 |
| ·结构化数据 | 第49-50页 |
| ·新增产品信息方法 | 第50-52页 |
| ·产品数据存储小结 | 第52页 |
| ·比价购物平台简要介绍 | 第52-53页 |
| ·基本功能 | 第52-53页 |
| ·实现流程 | 第53页 |
| ·本章小结 | 第53-54页 |
| 第7章 实验结果与分析 | 第54-57页 |
| ·系统的开发环境 | 第54页 |
| ·系统测试 | 第54-56页 |
| ·网络抓取网页测试 | 第54-55页 |
| ·网页内容解析测试 | 第55页 |
| ·网页数据存储测试 | 第55-56页 |
| ·用户体验测试 | 第56页 |
| ·本章小结 | 第56-57页 |
| 第8章 总结与展望 | 第57-59页 |
| ·课题工作总结 | 第57页 |
| ·工作展望 | 第57-59页 |
| 参考文献 | 第59-61页 |
| 致谢 | 第61页 |
