| 摘要 | 第4-5页 |
| ABSTRACT | 第5页 |
| 目录 | 第6-9页 |
| 第一章 绪论 | 第9-13页 |
| 1.1 课题背景 | 第9页 |
| 1.2 研究意义 | 第9-10页 |
| 1.3 论文结构 | 第10-13页 |
| 第二章 移动互联网流量采集与处理概述 | 第13-23页 |
| 2.1 移动互联网简介 | 第13-16页 |
| 2.1.1 移动互联网概述 | 第13页 |
| 2.1.2 移动互联网的发展历程 | 第13-14页 |
| 2.1.3 移动互联网的未来趋势和发展前景 | 第14-16页 |
| 2.2 移动互联网流量数据采集与分析 | 第16-20页 |
| 2.2.1 移动互联网流量数据特征简介 | 第16-17页 |
| 2.2.2 移动互联网流量数据采集方法简介 | 第17-19页 |
| 2.2.3 移动互联网流量数据采集与分析的意义 | 第19-20页 |
| 2.3 移动互联网络流量数据处理平台架构 | 第20-23页 |
| 第三章 分布式平台与基于Hadoop的分布式数据处理系统简介 | 第23-35页 |
| 3.1 Google核心云计算技术简介 | 第23-29页 |
| 3.1.1 分布式文件系统 | 第24-26页 |
| 3.1.2 MapReduce编程模型简介 | 第26-27页 |
| 3.1.3 BigTable简介 | 第27-29页 |
| 3.2 Hadoop简介 | 第29-31页 |
| 3.2.1 概述 | 第29-30页 |
| 3.2.2 Hadoop原理与运行机制 | 第30页 |
| 3.2.3 关键技术 | 第30-31页 |
| 3.2.4 Hadoop特点 | 第31页 |
| 3.3 基于Hadoop的分布式数据处理系统简介 | 第31-33页 |
| 3.4 总结 | 第33-35页 |
| 第四章 HDPS数据分析模块的实现与应用 | 第35-57页 |
| 4.1 功能概述 | 第35页 |
| 4.2 DA模块整体架构 | 第35-36页 |
| 4.3 DA模块的工作流程 | 第36-37页 |
| 4.4 DA模块功能分解 | 第37-38页 |
| 4.5 DA模块中的关键技术 | 第38-42页 |
| 4.5.1 插件的插拔 | 第38-39页 |
| 4.5.2 插件的控制 | 第39-40页 |
| 4.5.3 定时执行机制 | 第40-41页 |
| 4.5.4 插件配置文件实现原理 | 第41-42页 |
| 4.6 DA模块的设计要点 | 第42-46页 |
| 4.6.1 作业链模式 | 第42-44页 |
| 4.6.2 作业的封装 | 第44-45页 |
| 4.6.3 预处理和后处理设计 | 第45-46页 |
| 4.7 配置文件的详细讲解 | 第46-49页 |
| 4.7.1 DA模块配置文件 | 第46-49页 |
| 4.7.2 插件配置文件 | 第49页 |
| 4.8 DA模块的应用——省网监测系统的设计与实现 | 第49-55页 |
| 4.8.1 监测环境与基本概念简介 | 第49-50页 |
| 4.8.2 系统结构 | 第50-51页 |
| 4.8.3 数据简介 | 第51页 |
| 4.8.4 数据处理流程 | 第51页 |
| 4.8.5 统计内容 | 第51-52页 |
| 4.8.6 Analyser设计 | 第52-55页 |
| 4.9 总结 | 第55-57页 |
| 第五章 高性能分布式移动网络流量数据存储查询系统的设计与实现 | 第57-79页 |
| 5.1 系统设计背景与功能简介 | 第57页 |
| 5.1.1 背景 | 第57页 |
| 5.1.2 系统功能简介 | 第57页 |
| 5.2 DSRS系统架构设计 | 第57-58页 |
| 5.3 DSRS系统工作流程 | 第58页 |
| 5.4 HQS数据查询流程 | 第58-60页 |
| 5.5 HQS模块设计 | 第60-61页 |
| 5.5.1 模块图 | 第60页 |
| 5.5.2 模块功能描述 | 第60-61页 |
| 5.6 关键技术与设计要点 | 第61-64页 |
| 5.6.1 流量数据文件存储和Partition规则 | 第61页 |
| 5.6.2 索引策略 | 第61-64页 |
| 5.7 DSRS系统测试 | 第64-71页 |
| 5.7.1 测试环境 | 第65页 |
| 5.7.2 测试数据 | 第65-66页 |
| 5.7.3 功能测试 | 第66-68页 |
| 5.7.4 性能测试 | 第68-71页 |
| 5.7.5 测试结论 | 第71页 |
| 5.8 分布式平台开发优化方法研究 | 第71-79页 |
| 5.8.1 Hadoop任务调度器简介和选择 | 第71-74页 |
| 5.8.2 MapReduce程序优化 | 第74-76页 |
| 5.8.3 Hadoop参数调优 | 第76-79页 |
| 第六章 总结与展望 | 第79-81页 |
| 参考文献 | 第81-83页 |
| 致谢 | 第83-85页 |
| 攻读学位期间发表的学术论文目录 | 第85页 |
