| 摘要 | 第4-5页 |
| ABSTRACT | 第5-6页 |
| 目录 | 第7-10页 |
| 第一章 绪论 | 第10-13页 |
| 1.1 本文研究背景 | 第10页 |
| 1.2 国内外研究现状 | 第10-11页 |
| 1.3 本文研究内容 | 第11页 |
| 1.4 论文结构 | 第11-13页 |
| 第二章 Hadoop平台及相关算法分析 | 第13-20页 |
| 2.1 Hadoop分布式平台分析 | 第13-18页 |
| 2.1.1 HDFS设计思想 | 第14-15页 |
| 2.1.2 MapReduce分布式作业处理流程 | 第15-17页 |
| 2.1.3 HBase列式数据库的特点 | 第17页 |
| 2.1.4 Zookeeper负载均衡分析 | 第17-18页 |
| 2.2 Winpcap数据抓取技术和Wireshark数据抓取工具研究 | 第18-19页 |
| 2.2.1 Winpcap数据抓取原理和优缺点分析 | 第18页 |
| 2.2.2 Wireshark数据抓取工具优势介绍 | 第18-19页 |
| 2.3 相关算法在网络分析系统中的应用 | 第19-20页 |
| 2.3.1 MapReduce算法分析 | 第19-20页 |
| 第三章 Hadoop平台下网络业务分析系统的设计 | 第20-32页 |
| 3.1 系统设计原则和系统整体架构设计 | 第20-23页 |
| 3.2 系统模块详细设计 | 第23-32页 |
| 3.2.1 数据抓取模块 | 第23-24页 |
| 3.2.2 数据存储模块设计 | 第24-26页 |
| 3.2.3 数据预处理模块设计 | 第26-29页 |
| 3.2.4 数据统计分析模块设计 | 第29-30页 |
| 3.2.5 数据展示模块设计和实现 | 第30-32页 |
| 第四章 Hadoop平台下网络业务分析系统的实现 | 第32-48页 |
| 4.1 Hadoop环境的搭建 | 第32-34页 |
| 4.1.1 Hadoop硬件环境 | 第32页 |
| 4.1.2 Hadoop环境搭建 | 第32-33页 |
| 4.1.3 Zookeeper环境搭建 | 第33页 |
| 4.1.4 Hbase环境搭建 | 第33-34页 |
| 4.2 特征数据库的建立和应用 | 第34-37页 |
| 4.2.1 特征数据库的意义 | 第34页 |
| 4.2.2 终端特征数据库建立和应用 | 第34-35页 |
| 4.2.3 浏览器特征数据库判定规则和特征数据 | 第35-36页 |
| 4.2.4 常用网站特征数据库 | 第36-37页 |
| 4.3 系统统计指标的实现 | 第37-41页 |
| 4.3.1 终端流量算法实现 | 第37-38页 |
| 4.3.2 终端访问次数算法实现 | 第38-39页 |
| 4.3.3 浏览器访问次数算法实现 | 第39-40页 |
| 4.3.4 常用网站访问次数和访问流量算法实现 | 第40-41页 |
| 4.4 系统数据库的设计和实现 | 第41-48页 |
| 4.4.1 HBase数据库的设计和实现 | 第41-42页 |
| 4.4.2 Mysql数据库的设计 | 第42-48页 |
| 第五章 系统性能分析 | 第48-58页 |
| 5.1 单机与Hadoop集群性能比对 | 第48-50页 |
| 5.1.1 试验环境介绍 | 第48页 |
| 5.1.2 高负载下性能比对分析 | 第48-49页 |
| 5.1.3 低负载下性能比对分析 | 第49页 |
| 5.1.4 单机与Hadoop性能比对总结 | 第49-50页 |
| 5.2 Hadoop程序性能调优 | 第50-58页 |
| 5.2.1 Map个数调优 | 第50-51页 |
| 5.2.2 Reduce个数调优 | 第51-53页 |
| 5.2.3 Shuffle调优 | 第53-54页 |
| 5.2.4 JVM重用调优 | 第54-55页 |
| 5.2.5 其他调优策略研究 | 第55-58页 |
| 第六章 试验结果展示和分析 | 第58-63页 |
| 6.1 终端统计展示与分析 | 第58-59页 |
| 6.1.1 终端统计展示 | 第58页 |
| 6.1.2 终端统计分析 | 第58-59页 |
| 6.2 浏览器统计展示与分析 | 第59-60页 |
| 6.2.1 浏览器统计展示 | 第59-60页 |
| 6.2.2 浏览器统计分析 | 第60页 |
| 6.3 网站统计展示与分析 | 第60-63页 |
| 6.3.1 网站统计展示 | 第61页 |
| 6.3.2 网站统计分析 | 第61-63页 |
| 第七章 总结和展望 | 第63-65页 |
| 7.1 总结 | 第63页 |
| 7.2 展望 | 第63-65页 |
| 参考文献 | 第65-69页 |
| 致谢 | 第69-70页 |
| 攻读学位期间发表论文 | 第70页 |
