摘要 | 第3-4页 |
abstract | 第4-5页 |
1 绪论 | 第11-17页 |
1.1 课题背景和意义 | 第11-12页 |
1.2 Spark大数据并行计算框架研究与应用情况 | 第12-14页 |
1.2.1 Spark大数据并行计算框架研究与发展 | 第12-13页 |
1.2.2 Spark大数据并行计算框架应用情况 | 第13-14页 |
1.3 论文研究内容及工作 | 第14页 |
1.4 论文组织结构 | 第14-17页 |
2 相关技术概述 | 第17-25页 |
2.1 大数据定义 | 第17页 |
2.2 HDFS技术 | 第17-19页 |
2.3 CGI技术 | 第19-21页 |
2.3.1 CGI的工作原理 | 第19页 |
2.3.2 CGI传输数据方式 | 第19-20页 |
2.3.3 数据的URL编码规则 | 第20页 |
2.3.4 CGI程序的调用方式 | 第20页 |
2.3.5 CGI程序的返回方式 | 第20-21页 |
2.4 Gnuplot技术 | 第21-22页 |
2.5 本章小结 | 第22-25页 |
3 并行计算框架SPARK | 第25-35页 |
3.1 Spark简述 | 第25页 |
3.2 Spark生态系统 | 第25-26页 |
3.3 Spark运行原理 | 第26-29页 |
3.4 基于Spark的大数据应用开发支持环境架构 | 第29-33页 |
3.4.1 基于Spark的大数据应用开发支持环境的软件架构 | 第29-31页 |
3.4.2 基于Spark的大数据应用开发支持环境的硬件架构 | 第31-32页 |
3.4.3 基于Spark的大数据应用开发支持环境的网络架构 | 第32页 |
3.4.4 基于Spark的大数据应用开发支持环境的设计思路 | 第32-33页 |
3.5 本章小结 | 第33-35页 |
4 基于Spark的大数据应用开发支持环境集群配置与部署 | 第35-49页 |
4.1 基于Spark的大数据支持环境集群的部署模式 | 第35-36页 |
4.2 Spark物理集群的配置 | 第36-39页 |
4.3 Spark集群的Standalone部署模式 | 第39-42页 |
4.4 Spark集群Spark on yarn部署模式 | 第42-44页 |
4.5 Spark集群在亚马逊AWS EC2云平台的部署 | 第44-47页 |
4.6 本章小结 | 第47-49页 |
5 基于Spark的大数据应用开发支持环境门户网站设计与实现 | 第49-71页 |
5.1 门户网站需求概述 | 第49页 |
5.2 门户网站系统分析 | 第49-50页 |
5.2.1 门户网站主要业务 | 第49-50页 |
5.2.2 门户网站用户基本权限及职责 | 第50页 |
5.3 门户网站总体设计 | 第50-65页 |
5.3.1 总体设计目标 | 第50-51页 |
5.3.2 门户网站功能模块结构 | 第51-52页 |
5.3.3 门户网站主要功能模块设计与实现 | 第52-62页 |
5.3.4 门户网站系统数据库设计 | 第62-65页 |
5.4 门户网站典型界面展示 | 第65-71页 |
6 总结与展望 | 第71-73页 |
6.1 工作总结 | 第71页 |
6.2 工作展望 | 第71-73页 |
致谢 | 第73-75页 |
参考文献 | 第75-77页 |