摘要 | 第4-5页 |
abstract | 第5页 |
第一章 绪论 | 第8-12页 |
1.1 选题的研究背景及意义 | 第8-9页 |
1.2 论文的主要内容 | 第9-10页 |
1.3 论文的组织结构 | 第10-11页 |
1.4 本章小结 | 第11-12页 |
第二章 相关知识背景介绍 | 第12-25页 |
2.1 Hadoop集群技术介绍 | 第12-18页 |
2.1.1 Hadoop平台简介 | 第12-13页 |
2.1.2 HDFS | 第13-16页 |
2.1.3 MapReduce模型 | 第16-17页 |
2.1.4 YARN | 第17-18页 |
2.2 Docker容器技术 | 第18-23页 |
2.2.1 Docker容器技术简介 | 第18-19页 |
2.2.2 Docker的组成 | 第19-20页 |
2.2.3 Docker容器与服务器虚拟化的区别 | 第20-21页 |
2.2.4 Docker的读写性 | 第21-23页 |
2.3 秘密共享技术 | 第23-25页 |
第三章 系统环境搭建和内存配置分析 | 第25-42页 |
3.1 系统环境搭建 | 第25-27页 |
3.1.1 硬件环境 | 第25-26页 |
3.1.2 软件环境 | 第26-27页 |
3.2 系统方案的实现 | 第27-32页 |
3.2.1 Docker容器集群的搭建 | 第27-28页 |
3.2.2 Hadoop平台的搭建过程 | 第28-30页 |
3.2.3 Docker集群部署方案 | 第30-32页 |
3.3 基于Docker容器的Hadoop架构平台搭建 | 第32-35页 |
3.3.1 Docker中搭建Hadoop平台 | 第32-33页 |
3.3.2 内存优化的原因 | 第33-34页 |
3.3.3 Hadoop的默认内存配置参数 | 第34-35页 |
3.4 实验测试与结果分析 | 第35-41页 |
3.4.1 实验方案 | 第35-36页 |
3.4.2 yarn.nodemanager.resource.memory-mb对WordCount的影响 | 第36-38页 |
3.4.3 yarn.nodemanager.resource.memory-mb对TeraSort的影响 | 第38-40页 |
3.4.4 实验结果 | 第40-41页 |
3.5 本章小结 | 第41-42页 |
第四章 YARN性能优化 | 第42-50页 |
4.1 YARN的优化 | 第42-43页 |
4.1.1 YARN问题由来 | 第42-43页 |
4.1.2 Mapreduce并行化工作 | 第43页 |
4.2 实验环境 | 第43-45页 |
4.3 容器大小和配置资源划分 | 第45-49页 |
4.3.1 任务并发和工作完成时间 | 第47-48页 |
4.3.2 实验结论 | 第48-49页 |
4.4 本章小结 | 第49-50页 |
第五章 异构系统下数据安全 | 第50-62页 |
5.1 背景和相关介绍 | 第50-52页 |
5.1.1 Hadoop默认数据放置策略 | 第50-51页 |
5.1.2 异构漏洞 | 第51-52页 |
5.1.3 具有异构漏洞的分布式存储系统中的安全碎片分配 | 第52页 |
5.2 异构系统下数据安全存在的问题 | 第52-53页 |
5.3 优化方案 | 第53-61页 |
5.3.1 系统环境 | 第53-56页 |
5.3.2 解决方案设计 | 第56-57页 |
5.3.3 保证模型 | 第57-59页 |
5.3.4 系统保证模型评估 | 第59-60页 |
5.3.5 解决方案性能分析 | 第60-61页 |
5.4 本章小结 | 第61-62页 |
第六章 总结与展望 | 第62-64页 |
6.1 论文工作总结 | 第62-63页 |
6.2 论文不足与展望 | 第63-64页 |
参考文献 | 第64-66页 |
附录1 攻读硕士学位期间撰写的论文 | 第66-67页 |
附录2 攻读硕士学位期间参加的科研项目 | 第67-68页 |
致谢 | 第68页 |