面向校园招聘主题的分布式爬虫系统的设计与实现
| 摘要 | 第4-5页 |
| Abstract | 第5-6页 |
| 第一章 绪论 | 第9-12页 |
| 1.1 研究背景与意义 | 第9-10页 |
| 1.2 国内外研究概况 | 第10-11页 |
| 1.3 论文主要研究内容 | 第11页 |
| 1.4 论文组织结构 | 第11页 |
| 本章小结 | 第11-12页 |
| 第二章 相关技术及理论 | 第12-22页 |
| 2.1 分布式与云计算 | 第12页 |
| 2.2 Hadoop技术 | 第12-16页 |
| 2.2.1 MapReduce分布式并行计算框架 | 第13-15页 |
| 2.2.2 HDFS分布式文件系统 | 第15-16页 |
| 2.3 网络爬虫技术 | 第16-20页 |
| 2.3.1 通用爬虫 | 第16-18页 |
| 2.3.2 主题爬虫 | 第18-19页 |
| 2.3.3 分布式爬虫 | 第19-20页 |
| 2.4 宽度优先抓取策略 | 第20页 |
| 2.5 Solr开源搜索引擎 | 第20-21页 |
| 2.5.1 Solr介绍 | 第20-21页 |
| 2.5.2 Solr特性 | 第21页 |
| 本章小结 | 第21-22页 |
| 第三章 招聘信息可靠性度量方法研究 | 第22-28页 |
| 3.1 PageRank链接评分算法 | 第22-24页 |
| 3.1.1 算法背景与思想 | 第22-23页 |
| 3.1.2 算法描述 | 第23-24页 |
| 3.2 招聘信息空间向量表示 | 第24-25页 |
| 3.3 招聘信息可靠性计算 | 第25-27页 |
| 3.3.1 标题文本相似度计算 | 第25-26页 |
| 3.3.2 招聘信息可靠性计算模型 | 第26-27页 |
| 本章小结 | 第27-28页 |
| 第四章 校园招聘分布式爬虫系统分析与设计 | 第28-43页 |
| 4.1 系统需求分析 | 第28-29页 |
| 4.2 系统设计 | 第29-42页 |
| 4.2.1 系统总体设计 | 第30-31页 |
| 4.2.2 爬虫模块 | 第31-35页 |
| 4.2.3 索引模块 | 第35-39页 |
| 4.2.4 检索模块 | 第39-40页 |
| 4.2.5 数据库结构 | 第40-42页 |
| 本章小结 | 第42-43页 |
| 第五章 校园招聘分布式爬虫系统实现 | 第43-64页 |
| 5.1 系统的部署实现 | 第43-47页 |
| 5.1.1 开发环境 | 第43-44页 |
| 5.1.2 分布式环境搭建 | 第44-47页 |
| 5.2 爬虫模块的实现 | 第47-51页 |
| 5.2.1 爬虫框架搭建 | 第48页 |
| 5.2.2 主题爬虫的实现 | 第48-50页 |
| 5.2.3 招聘信息可靠性度量的实现 | 第50-51页 |
| 5.3 索引模块的实现 | 第51-54页 |
| 5.3.1 配置并建立索引 | 第52-53页 |
| 5.3.2 中文分词的实现 | 第53-54页 |
| 5.4 检索模块的实现 | 第54-58页 |
| 5.4.1 前端用户接口实现 | 第55-56页 |
| 5.4.2 后台检索响应实现 | 第56-58页 |
| 5.5 系统运行与测试 | 第58-63页 |
| 5.5.1 系统运行 | 第58-59页 |
| 5.5.2 系统测试 | 第59-63页 |
| 本章小结 | 第63-64页 |
| 结论 | 第64-65页 |
| 参考文献 | 第65-68页 |
| 致谢 | 第68页 |
