| 摘要 | 第4-7页 |
| ABSTRACT | 第7-10页 |
| 第一章 绪论 | 第14-28页 |
| 1.1 大数据时代 | 第14-16页 |
| 1.1.1 大数据的发展——From Big Data to Rich Data | 第14-15页 |
| 1.1.2 计算的发展历史 | 第15-16页 |
| 1.2 Hadoop的简介 | 第16-20页 |
| 1.2.1 Hadoop的架构 | 第16-19页 |
| 1.2.2 Hadoop存在的主要问题 | 第19-20页 |
| 1.3 大数据背景下的移动互联网 | 第20-23页 |
| 1.3.1 移动互联网发展历史 | 第20-21页 |
| 1.3.2 全球移动数据流量发展趋势 | 第21-23页 |
| 1.3.3 国内移动互联网现状 | 第23页 |
| 1.4 论文主要内容和创新点 | 第23-25页 |
| 1.5 论文结构 | 第25-28页 |
| 第二章 基于Hadoop的流量分析系统 | 第28-50页 |
| 2.1 背景知识 | 第28-33页 |
| 2.1.1 Hadoop分析移动流量数据的可行性 | 第29-31页 |
| 2.1.2 Hadoop在国内外的使用情况 | 第31-32页 |
| 2.1.3 Hadoop在流量分析领域的应用 | 第32-33页 |
| 2.1.4 小结 | 第33页 |
| 2.2 FLAS系统设计 | 第33-35页 |
| 2.2.1 整体需求 | 第33-34页 |
| 2.2.2 系统设计 | 第34-35页 |
| 2.3 FLAS系统模块实现 | 第35-40页 |
| 2.3.1 数据采集与存储 | 第35-36页 |
| 2.3.2 数据上传模块 | 第36-37页 |
| 2.3.3 数据分析模块 | 第37-40页 |
| 2.4 系统效率测试 | 第40-45页 |
| 2.4.1 实验环境 | 第40页 |
| 2.4.2 TopN算法 | 第40-42页 |
| 2.4.3 节点、数据量与作业效率研究 | 第42-43页 |
| 2.4.4 容错能力分析 | 第43-45页 |
| 2.5 FLAS系统存在的问题 | 第45-47页 |
| 2.5.1 Hadoop的瓶颈 | 第46-47页 |
| 2.5.2 流量分析系统存在的问题 | 第47页 |
| 2.6 本章总结 | 第47-50页 |
| 第三章 面向Hadoop集群的管理系统 | 第50-64页 |
| 3.1 Hadoop管理和监控工具简介 | 第50-54页 |
| 3.1.1 Zookeeper | 第50页 |
| 3.1.2 Ganglia | 第50-51页 |
| 3.1.3 Nagios | 第51页 |
| 3.1.4 JMX | 第51-52页 |
| 3.1.5 Cacti | 第52页 |
| 3.1.6 Ambari | 第52-53页 |
| 3.1.7 Chukwa | 第53页 |
| 3.1.8 小结 | 第53-54页 |
| 3.2 基于Hadoop的流量分析系统的监控需求概述 | 第54页 |
| 3.3 监控系统ZooManager的基础监控数据 | 第54-55页 |
| 3.4 监控系统ZooManager整体架构 | 第55-57页 |
| 3.4.1 被监控节点 | 第55-56页 |
| 3.4.2 监控节点 | 第56-57页 |
| 3.5 监控系统ZooManager的数据存储 | 第57页 |
| 3.6 数据获取与计算 | 第57-60页 |
| 3.6.1 数据采集 | 第57-58页 |
| 3.6.2 数据计算 | 第58-60页 |
| 3.7 数据呈现 | 第60-62页 |
| 3.8 本章总结 | 第62-64页 |
| 第四章 基于Hadoop的流量分析系统的资源预测与优化 | 第64-80页 |
| 4.1 概述 | 第64-68页 |
| 4.1.1 Hadoop参数 | 第64-65页 |
| 4.1.2 Hadoop工作负载指标 | 第65-66页 |
| 4.1.3 国内外研究现状 | 第66-68页 |
| 4.2 基准测试介绍 | 第68-69页 |
| 4.3 MapReduce框架的资源使用 | 第69-74页 |
| 4.3.1 WordCount作业 | 第69-71页 |
| 4.3.2 TestDFSIO读作业 | 第71-72页 |
| 4.3.3 TestDFSIO写作业 | 第72-74页 |
| 4.4 计算环境下的资源和时间建模 | 第74-76页 |
| 4.4.1 参数选择 | 第74页 |
| 4.4.2 资源提取 | 第74-75页 |
| 4.4.3 多项式回归建模 | 第75-76页 |
| 4.5 计算环境下的资源和时间预测与实验分析 | 第76-78页 |
| 4.5.1 实验环境 | 第77页 |
| 4.5.2 实验结果与分析 | 第77页 |
| 4.5.3 结果评估 | 第77-78页 |
| 4.6 本章总结 | 第78-80页 |
| 第五章 移动互联网流量与用户特征分析 | 第80-108页 |
| 5.1 概述 | 第80-83页 |
| 5.1.1 移动互联网流量分析 | 第80-81页 |
| 5.1.2 国内外相关研究 | 第81-83页 |
| 5.2 数据描述与分析方法简介 | 第83-86页 |
| 5.2.1 数据描述 | 第84-85页 |
| 5.2.2 分析方法介绍 | 第85-86页 |
| 5.3 用户到达访问数分布与建模 | 第86-89页 |
| 5.3.1 用户到达特征分析 | 第86-87页 |
| 5.3.2 泊松回归过程介绍 | 第87页 |
| 5.3.3 用户到达访问数分布模型建立 | 第87-88页 |
| 5.3.4 模型评估 | 第88-89页 |
| 5.4 用户特征单维度分析 | 第89-94页 |
| 5.4.1 用户数据使用行为分析 | 第89-90页 |
| 5.4.2 用户移动性分析 | 第90-92页 |
| 5.4.3 用户Web服务访问行为偏好分析 | 第92-94页 |
| 5.5 用户喜好行为多维度关系分析 | 第94-98页 |
| 5.5.1 用户数据使用与移动性关系 | 第94-95页 |
| 5.5.2 用户Web服务使用与移动性关系 | 第95-97页 |
| 5.5.3 用户数据使用与Web服务使用关系 | 第97-98页 |
| 5.6 用户访问行为分类 | 第98-103页 |
| 5.6.1 算法描述 | 第98-100页 |
| 5.6.2 用户访问Web服务的行为分类 | 第100-101页 |
| 5.6.3 分类结果分析 | 第101-103页 |
| 5.7 不同Web服务类别的用户访问行为 | 第103-105页 |
| 5.8 本章总结 | 第105-108页 |
| 第六章 移动互联网的复杂网络特性研究 | 第108-130页 |
| 6.1 背景 | 第108-110页 |
| 6.1.1 复杂网络的特性 | 第108-109页 |
| 6.1.2 复杂网络的基本概念 | 第109-110页 |
| 6.2 复杂网络的应用 | 第110-112页 |
| 6.2.1 复杂网络模型 | 第110-111页 |
| 6.2.2 复杂网络与互联网 | 第111页 |
| 6.2.3 相关研究 | 第111-112页 |
| 6.3 构造移动互联网的网络结构 | 第112-114页 |
| 6.4 移动互联网典型应用复杂网络特征 | 第114-121页 |
| 6.4.1 移动互联网应用分布 | 第114-115页 |
| 6.4.2 网络拓扑基本参数分析 | 第115-117页 |
| 6.4.3 典型应用的网络节点度分布 | 第117-119页 |
| 6.4.4 网络节点单边平均权值分布 | 第119-121页 |
| 6.5 浏览类应用特征深入研究 | 第121-128页 |
| 6.5.1 网站分类 | 第121-122页 |
| 6.5.2 网络节点的度分布 | 第122-123页 |
| 6.5.3 网络节点的权值分布 | 第123-125页 |
| 6.5.4 BA模型 | 第125-128页 |
| 6.6 本章总结 | 第128-130页 |
| 结束语：总结与展望 | 第130-132页 |
| 参考文献 | 第132-140页 |
| 附录：缩写词说明 | 第140-142页 |
| 致谢 | 第142-144页 |
| 攻读学位期间发表的学术论文目录 | 第144页 |
