基于网格技术的主题爬虫算法优化的研究与实现
| 摘要 | 第1-6页 |
| Abstract | 第6-10页 |
| 1 绪论 | 第10-19页 |
| ·项目概述 | 第10-13页 |
| ·网格技术概述 | 第10-12页 |
| ·主题爬虫概述 | 第12-13页 |
| ·国内外发展现状 | 第13-15页 |
| ·网格技术国内外发展现状 | 第13-14页 |
| ·主题爬虫国内外发展现状 | 第14-15页 |
| ·本文研究工作 | 第15-16页 |
| ·开发环境及工具介绍 | 第16-19页 |
| ·Eclipse | 第16-17页 |
| ·MySQL | 第17-18页 |
| ·Globus Toolkits | 第18-19页 |
| 2 网格技术分析 | 第19-23页 |
| ·网格体系结构 | 第19-20页 |
| ·Globus的积木式体系结构 | 第20-21页 |
| ·OGSA体系结构 | 第21-22页 |
| ·开放式网格服务基础结构 | 第22-23页 |
| 3 主题爬虫算法分析 | 第23-34页 |
| ·超链接结构特性分析 | 第23-25页 |
| ·主题爬虫体系结构 | 第25-26页 |
| ·现有主题爬虫算法以及存在的问题 | 第26-28页 |
| ·主题爬虫算法ZTSpider结构 | 第28-30页 |
| ·主题爬虫算法ZTSpider分析 | 第30-34页 |
| ·超文本相关度分析器(HPC) | 第30-31页 |
| ·超链接评价器(HLA) | 第31-32页 |
| ·改进的算法 | 第32-34页 |
| 4 主题爬虫算法ZTSpider设计与实现 | 第34-46页 |
| ·主题爬虫算法ZTSpider模块划分 | 第34-35页 |
| ·主题爬虫算法ZTSpider试验系统流程图 | 第35-36页 |
| ·算法数据结构设计 | 第36-38页 |
| ·数据表设计 | 第36-37页 |
| ·数据队列设计 | 第37-38页 |
| ·主题爬虫算法ZTSpider试验系统流程 | 第38-41页 |
| ·主题爬虫算法ZTSpider程序关键包分析 | 第41-43页 |
| ·实验分析 | 第43-44页 |
| ·主题爬虫算法ZTSpider的改进方法 | 第44-46页 |
| 5 分布式主题爬虫系统设计与实现 | 第46-57页 |
| ·分布式计算技术概述 | 第46-47页 |
| ·面向服务的体系结构 | 第47-49页 |
| ·分布式爬虫系统结构 | 第49-50页 |
| ·发布ZTSpider服务 | 第50-55页 |
| ·描述服务 | 第52页 |
| ·定义消息服务 | 第52-53页 |
| ·定义端口类型 | 第53页 |
| ·服务的实现 | 第53页 |
| ·编译并创建爬虫的WEB服务 | 第53-55页 |
| ·分布式主题爬虫WEB服务 | 第55-57页 |
| 6 结论 | 第57-58页 |
| 参考文献 | 第58-61页 |
| 在学研究成果 | 第61-62页 |
| 致谢 | 第62页 |
