中文摘要 | 第1-5页 |
英文摘要 | 第5-9页 |
1 绪论 | 第9-21页 |
·研究背景和意义 | 第9-11页 |
·国内外研究现状 | 第11-17页 |
·本论文的主要贡献 | 第17-20页 |
·论文的组织结构 | 第20-21页 |
2 MapReduce中配置参数的重要性分析 | 第21-41页 |
·MapReduce介绍 | 第21-22页 |
·Hadoop生态系统 | 第22-24页 |
·Hadoop计算平台架构 | 第24-26页 |
·分布式文件存储HDFS | 第26-27页 |
·MapReduce配置参数分析 | 第27-39页 |
·配置参数对MapReduce作业性能影响分析 | 第27-30页 |
·MapReduce中I/O代价函数的建立 | 第30-39页 |
·本章小结 | 第39-41页 |
3 基于核函数惩罚的聚类特征选择 | 第41-85页 |
·引言 | 第41-42页 |
·数据降维 | 第42-47页 |
·特征选择和特征提取研究现状 | 第47-49页 |
·聚类 | 第49-53页 |
·聚类算法中的相似度度量 | 第49-50页 |
·K-means算法介绍与分析 | 第50-53页 |
·核K-means(kernel K-means)聚类 | 第53-56页 |
·聚类初始中心点的改进 | 第56-62页 |
·基于核函数惩罚的聚类特征选择 | 第62-68页 |
·实验及分析 | 第68-84页 |
·聚类初始中心点改进实验结果与分析 | 第68-69页 |
·特征选择实验结果及分析 | 第69-84页 |
·本章小结 | 第84-85页 |
4 MapReduce数据本地化优化研究 | 第85-109页 |
·引言 | 第85-87页 |
·数据本地化(Data Locality) | 第87-89页 |
·副本置放 | 第89页 |
·数据本地化优化算法 | 第89-99页 |
·基于二部图最小权匹配的数据本地化优化算法 | 第89-93页 |
·动态自适应副本置放算法 | 第93-99页 |
·实验及分析 | 第99-107页 |
·实验环境及实验用例 | 第100-102页 |
·实验结果及分析 | 第102-107页 |
·本章小结 | 第107-109页 |
5 MapReduce任务调度优化研究 | 第109-137页 |
·引言 | 第109-110页 |
·Hadoop任务调度流程 | 第110-111页 |
·Hadoop平台中现有的调度策略分析 | 第111-115页 |
·任务调度中作业执行时间的不确定性 | 第115-118页 |
·满足作业时间需求和资源优化的任务调度算法 | 第118-128页 |
·作业描述文件的建立 | 第119-120页 |
·作业完成时间的计算 | 第120-122页 |
·作业所需slot的计算 | 第122-124页 |
·满足作业时间需求和资源优化的任务调度算法 | 第124-128页 |
·实验及分析 | 第128-136页 |
·本章小节 | 第136-137页 |
6 总结与展望 | 第137-139页 |
·研究总结 | 第137-138页 |
·未来展望 | 第138-139页 |
致谢 | 第139-141页 |
参考文献 | 第141-153页 |
附录 | 第153-154页 |
A. 作者在攻读学位期间发表的论文目录 | 第153-154页 |
B. 作者在攻读学位期间参加的科研项目 | 第154页 |