基于hadoop的网络爬虫技术研究

摘要	第1-5页
Abstract	第5-9页
第1章 绪论	第9-13页
·本研究课题的目的和意义	第9-11页
·本研究课题目前的现状	第11-12页
·本文内部结构	第12-13页
第2章 分布式技术	第13-20页
·相关云计算的知识	第13-17页
·云计算原理与结构	第13-15页
·典型云计算的平台	第15-17页
·hadoop平台相关知识	第17-19页
·基于hadoop的分布式文件系统	第17-18页
·Map/Reduce计算模型	第18-19页
·本章小结	第19-20页
第3章 网络爬虫技术知识	第20-36页
·网络爬虫知识	第20-26页
·网络爬虫基本原理简述	第20页
·网络爬虫体系结构解析	第20-23页
·网络爬虫常用爬行决策	第23-26页
·分布式网络爬虫相关知识	第26-29页
·分布式网络爬虫原理	第26-29页
·负载均衡	第29-35页
·本章小结	第35-36页
第4章 页面分析技术	第36-51页
·链接分析原理概述	第36页
·链接分析模型	第36-38页
·链接分析算法	第38-44页
·反向链接分析算法	第38-39页
·PageRank算法	第39页
·HITS算法	第39-41页
·典型优化HITS算法	第41-44页
·改进算法的提出——M-HITS	第44-50页
·向量空间模型基本概念	第44-47页
·查询和文档向量的匹配	第47页
·改进方案	第47-48页
·邻接图节点矢量表示	第48页
·查询主题矢量表示	第48-49页
·相似度的计算	第49页
·M-HITS算法步骤	第49-50页
·本章小结	第50-51页
第5章 验证与分析	第51-55页
·系统结构	第51-52页
·实验环境	第52页
·结果分析	第52-54页
·本章小结	第54-55页
第6章 总结和展望	第55-57页
致谢	第57-58页
参考文献	第58-61页
攻读硕士期间参与的项目	第61页