基于Hadoop平台的数据分析和应用
| 摘要 | 第1-5页 |
| ABSTRACT | 第5-9页 |
| 第一章 引言 | 第9-15页 |
| ·HADOOP的发展背景和现状 | 第9-11页 |
| ·HADOOP在数据处理方面的优势 | 第11-12页 |
| ·和MPI的比较 | 第11页 |
| ·和传统关系型数据库的比较 | 第11-12页 |
| ·现有研究成果分析 | 第12-13页 |
| ·论文结构与作者主要工作 | 第13-15页 |
| 第二章 HADOOP系统基础 | 第15-29页 |
| ·HADOOP分布式文件系统 | 第15-23页 |
| ·硬件错误 | 第15-16页 |
| ·流式数据访问 | 第16页 |
| ·大规模数据集 | 第16页 |
| ·简单一致性模型 | 第16页 |
| ·移动计算 | 第16-17页 |
| ·名称节点和数据节点 | 第17-18页 |
| ·数据复制和副本存放 | 第18-20页 |
| ·安全模式 | 第20页 |
| ·元数据的持久化 | 第20-21页 |
| ·磁盘数据错误 | 第21页 |
| ·数据完整性 | 第21-22页 |
| ·数据组织 | 第22-23页 |
| ·HADOOP分布式计算 | 第23-27页 |
| ·执行概括 | 第24-26页 |
| ·容错 | 第26页 |
| ·数据混洗 | 第26-27页 |
| ·本章小结 | 第27-29页 |
| 第三章 数据处理方案的设计和实现 | 第29-48页 |
| ·集群配置 | 第29-31页 |
| ·日志分析方案设计和实现 | 第31-35页 |
| ·URL序号-频度关系分析方案设计和实现 | 第31-32页 |
| ·Query相关性分析方案设计和实现 | 第32-35页 |
| ·图论方案设计和实现 | 第35-41页 |
| ·分布式单源最短路径方案设计和实现 | 第36-38页 |
| ·网页权重分析方案实现 | 第38-40页 |
| ·方案分析及优化 | 第40-41页 |
| ·程序设计和优化方法 | 第41-47页 |
| ·本地聚集优化 | 第41-42页 |
| ·通过配置调整进行优化 | 第42-43页 |
| ·二次排序方案设计和实现 | 第43-45页 |
| ·数据联接方案设计和实现 | 第45-46页 |
| ·全局排序方案 | 第46-47页 |
| ·本章小结 | 第47-48页 |
| 第四章 实验测试结果和分析 | 第48-53页 |
| ·实验环境和数据 | 第48页 |
| ·实验结果分析 | 第48-52页 |
| ·移动计算与移动数据的结果分析 | 第48-49页 |
| ·日志分析方案分析 | 第49-50页 |
| ·图论设计方案分析和评估 | 第50-51页 |
| ·性能优化方案分析 | 第51-52页 |
| ·本章小结 | 第52-53页 |
| 第五章 结束语 | 第53-61页 |
| ·论文工作总结 | 第53-54页 |
| ·问题和展望 | 第54-61页 |
| 参考文献 | 第61-64页 |
| 攻读硕士学位期间研究成果 | 第64-65页 |
| 致谢 | 第65页 |
