面向新闻大数据的节能存储策略研究
中文摘要 | 第3-4页 |
英文摘要 | 第4-5页 |
1 绪论 | 第8-14页 |
1.1 研究背景和意义 | 第8-9页 |
1.2 国内外研究现状 | 第9-11页 |
1.3 本文主要研究内容 | 第11页 |
1.4 本文组织结构 | 第11-12页 |
1.5 本章小结 | 第12-14页 |
2 Hadoop分布式文件系统 | 第14-22页 |
2.1 Hadoop生态系统 | 第14-15页 |
2.2 HDFS基础概念 | 第15-16页 |
2.3 HDFS架构 | 第16-17页 |
2.4 HDFS读写机制 | 第17-20页 |
2.5 HDFS副本机制 | 第20-21页 |
2.6 本章小结 | 第21-22页 |
3 基于访问规律的节能存储策略 | 第22-50页 |
3.1 新闻数据访问规律分析 | 第22-27页 |
3.2 数据节点分区策略 | 第27-30页 |
3.3 最大剩余空间节点匹配策略 | 第30-42页 |
3.3.1 HDFS默认目标节点选择策略 | 第30-34页 |
3.3.2 活动状态节点优先匹配 | 第34-37页 |
3.3.3 低于平均使用率节点优先匹配 | 第37-40页 |
3.3.4 对ASNP和LANP两种方案的讨论 | 第40-42页 |
3.4 文件迁移策略 | 第42-45页 |
3.5 节点待机策略 | 第45-48页 |
3.6 本章小结 | 第48-50页 |
4 仿真平台开发及实验结果分析 | 第50-72页 |
4.1 仿真平台简介 | 第50-60页 |
4.1.1 仿真平台功能 | 第50-51页 |
4.1.2 仿真平台开发环境 | 第51-52页 |
4.1.3 仿真平台主要模块 | 第52-58页 |
4.1.4 仿真平台操作使用 | 第58-60页 |
4.2 仿真实验与结果分析 | 第60-70页 |
4.2.1 测试数据集 | 第60-61页 |
4.2.2 实验参数设置 | 第61-63页 |
4.2.3 集群耗电量分析 | 第63-65页 |
4.2.4 存储空间使用率分析 | 第65-67页 |
4.2.5 文件迁移情况分析 | 第67-68页 |
4.2.6 节点唤醒情况分析 | 第68-70页 |
4.3 本章小结 | 第70-72页 |
5 总结与展望 | 第72-74页 |
5.1 本文工作总结 | 第72页 |
5.2 未来工作展望 | 第72-74页 |
致谢 | 第74-76页 |
参考文献 | 第76-80页 |
附录 | 第80页 |
A. 作者在攻读硕士学位期间发表的论文目录 | 第80页 |