基于Hadoop的云转码系统研究及性能优化
| 致谢 | 第1-6页 |
| 中文摘要 | 第6-7页 |
| ABSTRACT | 第7-9页 |
| 目录 | 第9-12页 |
| 1 引言 | 第12-16页 |
| ·论文背景 | 第12-13页 |
| ·国内外云转码研究现状 | 第13-14页 |
| ·本文的主要工作及组织结构 | 第14-16页 |
| 2 Hadoop平台及视频转码技术 | 第16-30页 |
| ·云计算概述 | 第16-20页 |
| ·云计算的概念 | 第16-17页 |
| ·云计算的关键技术 | 第17-20页 |
| ·Hadoop平台概述 | 第20-27页 |
| ·Hadoop基本架构 | 第20-21页 |
| ·HDFS架构 | 第21-24页 |
| ·MapReduce架构 | 第24-27页 |
| ·视频转码技术 | 第27-29页 |
| ·视频压缩标准 | 第27-28页 |
| ·视频压缩原理 | 第28页 |
| ·视频转码技术 | 第28-29页 |
| ·本章小结 | 第29-30页 |
| 3 基于Hadoop的云转码系统设计与实现 | 第30-40页 |
| ·系统整体架构 | 第30-31页 |
| ·代理服务器的设计 | 第31页 |
| ·视频转码模块设计 | 第31-34页 |
| ·视频分割 | 第32-33页 |
| ·视频转码 | 第33-34页 |
| ·视频合并 | 第34页 |
| ·Cache模块设计 | 第34-35页 |
| ·基于MapReduce的视频转码算法 | 第35-39页 |
| ·InputFormat实现 | 第36-37页 |
| ·Mapper实现 | 第37-38页 |
| ·Reducer实现 | 第38-39页 |
| ·本章小结 | 第39-40页 |
| 4 云转码系统性能分析 | 第40-48页 |
| ·系统原型 | 第40-41页 |
| ·云转码系统与单机转码性能对比 | 第41-43页 |
| ·影响系统转码性能的因素分析 | 第43-47页 |
| ·分段大小对转码性能的影响 | 第43-45页 |
| ·Slave数量对转码性能的影响 | 第45-46页 |
| ·系统执行转码过程中几个重要阶段所占时间分析 | 第46-47页 |
| ·本章小结 | 第47-48页 |
| 5 客户端读取HDFS文件性能优化 | 第48-66页 |
| ·客户端读取HDFS文件的流程 | 第48-50页 |
| ·HDFS中副本读取的选择策略 | 第50-51页 |
| ·副本放置策略 | 第50-51页 |
| ·副本读取的选择策略 | 第51页 |
| ·基于负载均衡的副本选择策略 | 第51-58页 |
| ·评价指标 | 第52页 |
| ·评价函数 | 第52-53页 |
| ·层次分析法(AHP)介绍 | 第53-56页 |
| ·使用层次分析法(AHP)确定权系数 | 第56-58页 |
| ·负载评价指标的获取 | 第58-59页 |
| ·CPU和内存使用率的获取 | 第58-59页 |
| ·网络带宽获取 | 第59页 |
| ·硬盘I/O负载率获取 | 第59页 |
| ·仿真实验及结果分析 | 第59-65页 |
| ·仿真实验介绍 | 第60-62页 |
| ·实验结果与分析 | 第62-65页 |
| ·本章小结 | 第65-66页 |
| 6 总结与展望 | 第66-68页 |
| ·总结 | 第66页 |
| ·展望 | 第66-68页 |
| 参考文献 | 第68-71页 |
| 附录A | 第71-75页 |
| 附录B | 第75-77页 |
| 作者简历 | 第77-79页 |
| 学位论文数据集 | 第79页 |
