摘要 | 第1-6页 |
ABSTRACT | 第6-10页 |
第1章 引言 | 第10-15页 |
·选题依据 | 第11-13页 |
·网络爬虫对于信息检索的重要性 | 第11页 |
·网络爬虫研究现状 | 第11-12页 |
·WAP 网页爬取技术研究的意义 | 第12-13页 |
·论文研究内容及创新点 | 第13-15页 |
·论文研究内容 | 第13-14页 |
·论文创新点 | 第14-15页 |
第2章 网络爬虫基本原理及关键技术 | 第15-26页 |
·网络爬虫的基本原理 | 第15-23页 |
·WAP 爬虫工作方式 | 第19-22页 |
·爬虫的难题 | 第22页 |
·爬虫的更新周期 | 第22-23页 |
·WAP 网络爬虫关键技术 | 第23-25页 |
·逐层爬取策略 | 第23页 |
·不重复爬取策略 | 第23-24页 |
·网页重访策略 | 第24-25页 |
·Robots 协议 | 第25页 |
·本章小结 | 第25-26页 |
第3章 网页信息处理方法 | 第26-46页 |
·网页信息预处理 | 第26-34页 |
·几种标记语言简介及HTTP 协议 | 第27-31页 |
·网页信息的结构化 | 第31-33页 |
·获取网页信息 | 第33-34页 |
·建立索引和实现查询 | 第34-40页 |
·索引的建立及其在搜索引擎中的作用 | 第35-36页 |
·索引策略 | 第36-40页 |
·进行WML 转换 | 第40-42页 |
·WAP 体系与结构 | 第40-41页 |
·HTML 到WML 转换 | 第41-42页 |
·PageRank 算法及其改进 | 第42-46页 |
·问题的提出 | 第42页 |
·PageRank 算法思想 | 第42-44页 |
·PageRank 算法改进 | 第44-46页 |
第4章 基于移动Spider 爬取策略的研究与设计 | 第46-53页 |
·查询语句解析 | 第46-47页 |
·引擎在 Spider 爬取信息过程中的查询策略 | 第47-48页 |
·结果去重与过滤 | 第48-49页 |
·搜索结果排序 | 第49-52页 |
·搜索策略总体流程 | 第52-53页 |
第5章 基于移动搜索爬取策略的手机阅读检索功能实现 | 第53-67页 |
·移动搜索Spider 爬行策略简介 | 第53-54页 |
·服务器网关要实现的内容 | 第54-58页 |
·手机阅读软件客户端需实现的功能 | 第55页 |
·手机阅读软件客户端和服务器网关之间的通信 | 第55-56页 |
·服务器网关的框架设计 | 第56-58页 |
·Spider 爬行网页信息模块功能实现API | 第58-60页 |
·Spider 运行爬行程序过程中索引的维护 | 第60-64页 |
·Spider 运行爬行程序过程中索引存储方式 | 第61-63页 |
·Spider 运行爬行程序过程中索引插入与删除 | 第63-64页 |
·Spider 运行爬行程序过程中索引策略总体流程 | 第64-65页 |
·手机阅读软件检索资源运行实例 | 第65-67页 |
结论 | 第67-68页 |
1. 研究成果 | 第67页 |
2. 建议 | 第67-68页 |
致谢 | 第68-69页 |
参考文献 | 第69-73页 |
攻读学位期间取得学术成果 | 第73页 |