分布式爬虫系统中任务分配问题的研究
| 摘要 | 第6-7页 |
| Abstract | 第7页 |
| 第一章 绪论 | 第10-15页 |
| 1.1 研究背景及意义 | 第10-11页 |
| 1.2 研究现状 | 第11-13页 |
| 1.3 本文主要的研究内容 | 第13页 |
| 1.4 本文的章节安排 | 第13-15页 |
| 第二章 相关技术分析与研究 | 第15-32页 |
| 2.1 分布式搜索引擎技术介绍 | 第15-18页 |
| 2.1.1 搜索引擎发展概述 | 第15页 |
| 2.1.2 搜索引擎的基本原理 | 第15-17页 |
| 2.1.3 爬虫模块的构成 | 第17-18页 |
| 2.2 AGENT和MAS理论概述 | 第18-26页 |
| 2.2.1 Agent的概念特征 | 第18-20页 |
| 2.2.2 MAS的结构体系 | 第20-22页 |
| 2.2.3 MAS的协作与通信 | 第22-26页 |
| 2.3 任务分配理论与模型 | 第26-30页 |
| 2.3.1 任务分配理论 | 第26-30页 |
| 2.4 本章小结 | 第30-32页 |
| 第三章 基于改进合同网的任务分配策略 | 第32-46页 |
| 3.1 合同网协议的基本思想 | 第32-34页 |
| 3.2 传统合同网的不足与改进思路 | 第34-36页 |
| 3.3 传统合同网的改进策略 | 第36-43页 |
| 3.3.1 相关量化参数 | 第37-39页 |
| 3.3.2 改进合同网的招标策略 | 第39-40页 |
| 3.3.3 改进合同网的招标流程 | 第40-41页 |
| 3.3.4 基于改进合同网的任务分配算法 | 第41-43页 |
| 3.4 实验结果与分析 | 第43-45页 |
| 3.5 本章小结 | 第45-46页 |
| 第四章 基于VCG机制的任务分配策略 | 第46-56页 |
| 4.1 机制设计相关理论 | 第46-49页 |
| 4.1.1 机制设计的概念 | 第46-47页 |
| 4.1.2 激励兼容 | 第47-48页 |
| 4.1.3 显示原理 | 第48页 |
| 4.1.4 社会选择函数 | 第48-49页 |
| 4.2 VCG拍卖机制 | 第49-52页 |
| 4.2.1 拍卖技术 | 第49-51页 |
| 4.2.2 VCG拍卖机制 | 第51-52页 |
| 4.3 基于VCG机制的任务分配算法 | 第52-54页 |
| 4.3.1 基于VCG机制的任务分配形式化描述 | 第52页 |
| 4.3.2 基于VCG机制的任务分配算法 | 第52-53页 |
| 4.3.3 基于VCG机制的任务分配算法分析 | 第53-54页 |
| 4.4 实验结果与分析 | 第54-55页 |
| 4.5 本章小结 | 第55-56页 |
| 第五章 总结与展望 | 第56-59页 |
| 5.1 本文工作总结 | 第56页 |
| 5.2 不足与展望 | 第56-59页 |
| 参考文献 | 第59-62页 |
| 致谢 | 第62-63页 |
| 附录 | 第63-64页 |
