摘要 | 第4-5页 |
Abstract | 第5页 |
专用术语注释表 | 第8-9页 |
第一章 绪论 | 第9-14页 |
1.1 研究的背景及意义 | 第9-10页 |
1.2 国内外研究现状 | 第10-12页 |
1.2.1 MapReduce计算模型 | 第10页 |
1.2.2 PageRank算法 | 第10-12页 |
1.2.3 分布式的PageRank算法 | 第12页 |
1.3 论文的组织结构 | 第12-14页 |
第二章 Web结构挖掘和分布式计算 | 第14-34页 |
2.1 链接分析简介 | 第14-16页 |
2.1.1 Web图元素组成 | 第14页 |
2.1.2 链接分析概念模型 | 第14-16页 |
2.2 PageRank算法简介 | 第16-20页 |
2.2.1 传统PageRank算法 | 第16-18页 |
2.2.2 主题敏感PageRank算法 | 第18-20页 |
2.3 HITS算法简介 | 第20-24页 |
2.3.1 Hub页面和Authority页面 | 第20-21页 |
2.3.2 HITS算法 | 第21-23页 |
2.3.3 HITS算法存在的问题 | 第23页 |
2.3.4 PageRank算法与HITS算法的比较 | 第23-24页 |
2.4 其他链接分析算法 | 第24-25页 |
2.4.1 SALSA算法 | 第24页 |
2.4.2 Hilltop算法 | 第24-25页 |
2.5 分布式计算 | 第25-32页 |
2.5.1 Hadoop分布式平台简介 | 第26-27页 |
2.5.2 MapReduce计算模型 | 第27-29页 |
2.5.3 分布式文件系统 | 第29-31页 |
2.5.4 Hadoop的MapReduce工作流程 | 第31-32页 |
2.6 本章小结 | 第32-34页 |
第三章 PageRank算法的优化 | 第34-45页 |
3.1 主题漂移现象优化 | 第34-36页 |
3.1.1 PageRank算法中的主题漂移现象 | 第34-35页 |
3.1.2 对主题漂移现象的改进 | 第35-36页 |
3.2 网页权值平均化现象优化 | 第36-37页 |
3.2.1 PageRank算法中的网页权值平均化现象 | 第36页 |
3.2.2 对网页权值平均化现象的改进 | 第36-37页 |
3.3 侧重旧网页现象优化 | 第37页 |
3.3.1 PageRank算法中的侧重旧网页现象 | 第37页 |
3.3.2 对侧重旧网页现象的改进 | 第37页 |
3.4 用户兴趣无关性现象优化 | 第37-39页 |
3.4.1 PageRank算法中的用户兴趣无关性现象 | 第37-38页 |
3.4.2 对用户兴趣无关性现象的改进 | 第38-39页 |
3.5 I-PR算法实验分析 | 第39-44页 |
3.5.1 Heritrix爬虫工具和实验数据预处理 | 第39-40页 |
3.5.2 实验分析与探究 | 第40-44页 |
3.6 本章小结 | 第44-45页 |
第四章 分布式I-PR算法 | 第45-55页 |
4.1 数据的预处理 | 第45-46页 |
4.2 Map函数处理 | 第46-47页 |
4.3 Combine过程 | 第47-49页 |
4.4 Reduce函数处理 | 第49页 |
4.5 分布式平台搭建 | 第49-51页 |
4.5.1 实验环境的安装和配置 | 第50-51页 |
4.5.2 Eclipse开发环境配置 | 第51页 |
4.6 实验 | 第51-54页 |
4.6.1 实验数据和相关设定 | 第51-52页 |
4.6.2 实验过程 | 第52-54页 |
4.7 本章小结 | 第54-55页 |
第五章 总结与展望 | 第55-57页 |
5.1 本文的工作总结 | 第55-56页 |
5.2 进一步工作展望 | 第56-57页 |
参考文献 | 第57-59页 |
致谢 | 第59页 |