无线城市Web数据采集系统的设计与实现
| 摘要 | 第1-5页 |
| ABSTRACT | 第5-10页 |
| 第一章 引言 | 第10-16页 |
| ·研究背景及意义 | 第10-11页 |
| ·研究内容及目标 | 第11-13页 |
| ·国内外研究现状 | 第13-14页 |
| ·本论文组织结构 | 第14-15页 |
| ·本章小结 | 第15-16页 |
| 第二章 相关技术研究 | 第16-28页 |
| ·分布式计算平台Hadoop | 第16-18页 |
| ·分布式文件系统HDFS | 第18-22页 |
| ·分布式计算系统MapReduce | 第22-27页 |
| ·本章小结 | 第27-28页 |
| 第三章 Web数据采集系统的需求分析 | 第28-32页 |
| ·需求概述 | 第28页 |
| ·运行环境 | 第28页 |
| ·硬件环境 | 第28页 |
| ·软件环境 | 第28页 |
| ·功能需求 | 第28-30页 |
| ·基本的数据爬取功能 | 第28-29页 |
| ·状态监控功能 | 第29页 |
| ·断点续传功能 | 第29页 |
| ·增量更新功能 | 第29-30页 |
| ·性能需求 | 第30页 |
| ·爬取速度 | 第30页 |
| ·爬取规模 | 第30页 |
| ·数据准确性 | 第30页 |
| ·其他需求 | 第30-31页 |
| ·用户友好性 | 第30-31页 |
| ·定制性 | 第31页 |
| ·可靠性 | 第31页 |
| ·可扩展性 | 第31页 |
| ·本章小结 | 第31-32页 |
| 第四章 Web数据采集系统的设计方案 | 第32-43页 |
| ·逻辑架构设计 | 第32-33页 |
| ·物理部署架构 | 第33-35页 |
| ·系统的工作流程 | 第35-39页 |
| ·单机爬虫的工作流程 | 第35-37页 |
| ·Web数据采集系统的工作流程 | 第37-39页 |
| ·功能模块划分 | 第39-41页 |
| ·数据格式设计 | 第41-42页 |
| ·本章小结 | 第42-43页 |
| 第五章 Web数据采集系统的具体实现 | 第43-63页 |
| ·本章研究方法 | 第43页 |
| ·数据爬取模块 | 第43-54页 |
| ·功能概述 | 第43页 |
| ·工作原理 | 第43-54页 |
| ·状态监控模块 | 第54-56页 |
| ·功能概述 | 第54-55页 |
| ·工作原理 | 第55-56页 |
| ·断点续传模块 | 第56-58页 |
| ·功能概述 | 第56页 |
| ·工作原理 | 第56-58页 |
| ·增量更新模块 | 第58-62页 |
| ·功能概述 | 第58页 |
| ·工作原理 | 第58-62页 |
| ·本章小结 | 第62-63页 |
| 第六章 系统测试方案与测试结果 | 第63-66页 |
| ·测试环境 | 第63页 |
| ·硬件环境 | 第63页 |
| ·软件环境 | 第63页 |
| ·系统功能测试 | 第63-64页 |
| ·系统性能测试 | 第64-65页 |
| ·测试结论 | 第65-66页 |
| 第七章 总结与展望 | 第66-68页 |
| ·本论文工作总结 | 第66页 |
| ·下一步工作计划 | 第66-68页 |
| 参考文献 | 第68-70页 |
| 致谢 | 第70-71页 |
| 攻读学位期间发表的学术论文 | 第71页 |
