摘要 | 第4-5页 |
Abstract | 第5-6页 |
第一章 绪论 | 第9-15页 |
1.1 研究背景与意义 | 第9-13页 |
1.1.1 QoE逐渐成为研究热点 | 第9-10页 |
1.1.2 Lambda架构与复杂数据处理 | 第10-13页 |
1.2 本文研究内容 | 第13-15页 |
第二章 基础知识 | 第15-24页 |
2.1 QoE相关研究 | 第15-18页 |
2.1.1 用户参与度(User Engagement) | 第15-16页 |
2.1.2 视频观看流程 | 第16-17页 |
2.1.3 QoS参数对QoE的影响 | 第17-18页 |
2.2 机器学习方法 | 第18-20页 |
2.2.1 机器学习分类 | 第18-19页 |
2.2.2 常用机器学习算法 | 第19-20页 |
2.3 Python编程语言的使用 | 第20-21页 |
2.4 分布式平台与DCOS | 第21-23页 |
2.4.1 DCOS主要运行工具 | 第21-22页 |
2.4.2 分布式数据平台的容错与协作 | 第22页 |
2.4.3 Mesos服务发现、部署与LongRun | 第22-23页 |
2.5 本章小结 | 第23-24页 |
第三章 建立QoE预测模型 | 第24-45页 |
3.1 问题描述 | 第24-26页 |
3.2 解决方法 | 第26-37页 |
3.2.1 视频分析数据采集 | 第26-27页 |
3.2.2 数据清洗 | 第27-28页 |
3.2.3 数据简单调整、分析结果 | 第28-33页 |
3.2.4 完整数据集模型选定 | 第33-36页 |
3.2.5 实时匹配数据不完整性分析 | 第36-37页 |
3.3 性能分析 | 第37-43页 |
3.3.1 K-means聚类调整 | 第37-38页 |
3.3.2 KNN算法性能改进 | 第38-43页 |
3.4 结果分析 | 第43-45页 |
第四章 大吞吐量和高可靠性的云数据处理平台 | 第45-54页 |
4.1 问题描述 | 第45-46页 |
4.2 解决方案 | 第46-50页 |
4.2.1 Docker Machine创建Swarm管理集群 | 第46-47页 |
4.2.2 Docker Compose创建DCOS管理集群 | 第47-48页 |
4.2.3 Mesos Framework概念的引入 | 第48-49页 |
4.2.4 Logstash、Kafka与Spark Streaming | 第49-50页 |
4.3 性能分析 | 第50-53页 |
4.3.1 Kafka Topic与集群的引入 | 第50-52页 |
4.3.2 Logstash+Kafka+Spark(LKS)的改进 | 第52-53页 |
4.4 结果分析 | 第53-54页 |
第五章 在线实时数据处理与移动数据源的引入 | 第54-68页 |
5.1 问题描述 | 第54-55页 |
5.2 解决方案 | 第55-60页 |
5.2.1 Log日志的产生与采集 | 第55-56页 |
5.2.2 Spark Streaming处理流程 | 第56-58页 |
5.2.3 定位追踪功能的引入 | 第58-60页 |
5.3 性能分析 | 第60-66页 |
5.3.1 Spark Streaming窗口操作 | 第60-63页 |
5.3.2 定位方法改进 | 第63-66页 |
5.4 结果分析 | 第66-68页 |
第六章 总结与展望 | 第68-70页 |
6.1 工作总结 | 第68页 |
6.2 工作展望 | 第68-70页 |
参考文献 | 第70-72页 |
附录1 程序清单 | 第72-84页 |
附录2 攻读硕士学位期间撰写的论文 | 第84-85页 |
附录3 攻读硕士学位期间申请的专利 | 第85-86页 |
附录4 攻读硕士学位期间参加的科研项目 | 第86-87页 |
致谢 | 第87页 |