首页--工业技术论文--自动化技术、计算机技术论文--计算技术、计算机技术论文--计算机的应用论文--计算机网络论文--一般性问题论文

基于Hadoop的海量网络流量日志处理技术研究与实现

摘要第4-5页
ABSTRACT第5-6页
第一章 绪论第12-17页
    1.1 选题背景及意义第12-13页
    1.2 国内外现状及趋势第13-15页
    1.3 本文贡献及创新点第15-16页
    1.4 本论文章节安排第16-17页
第二章 关键技术综述及分析第17-24页
    2.1 网络流量分类技术研究现状第17-19页
        2.1.1 基于网络数据包层次的网络流量分类技术第17-18页
        2.1.2 基于网络流层次的网络流量分类技术第18页
        2.1.3 基于流簇及多网络流层次的网络流量分类技术第18-19页
    2.2 Hadoop相关技术分析第19-22页
        2.2.1 概述第19页
        2.2.2 分布式文件系统HDFS第19-20页
        2.2.3 分布式计算框架MapReduce第20-21页
        2.2.4 分布式数据库Hbase第21-22页
    2.3 数据挖掘技术分析第22-23页
        2.3.1 数据挖掘概述第22页
        2.3.2 聚类分析概述第22-23页
        2.3.3 聚类算法概述第23页
    2.4 本章小结第23-24页
第三章 HAMANT系统需求分析及架构设计第24-31页
    3.1 问题描述和解决思路第24-27页
        3.1.1 网络流量日志有效采集问题描述及解决第24-25页
        3.1.2 海量网络流量日志处理问题描述及解决第25-26页
        3.1.3 网络流量日志数据挖掘问题描述及解决第26-27页
    3.2 HAMANT系统整体架构设计第27-30页
    3.3 本章小结第30-31页
第四章 HAMANT系统关键模块的具体设计与实现第31-57页
    4.1 网络流量日志采集模块第31-38页
        4.1.1 DPI协议识别引擎模块第31-34页
        4.1.2 网络流量DPI处理模块第34-35页
        4.1.3 TCP/UDP流表维护模块第35-38页
    4.2 日志预处理模块第38-41页
        4.2.1 数据清洗集成拆分规约模块第38页
        4.2.2 节点DNS解析模块第38-39页
        4.2.3 节点地理位置解析模块第39-41页
    4.3 Hbase读写模块第41-44页
        4.3.1 Hbase数据表设计第41-42页
        4.3.2 Hbase读写设计第42-44页
    4.4 多维度统计分析模块第44-48页
        4.4.1 多维度统计分析维度设计第44-45页
        4.4.2 Map/Reduce并行设计实现第45-48页
    4.5 多角度数据挖掘模块第48-53页
        4.5.1 核心算法实现及改进第48-52页
        4.5.2 上网时间喜好挖掘设计第52-53页
        4.5.3 业务使用偏好挖掘设计第53页
    4.6 报表展示模块第53-56页
    4.7 本章小结第56-57页
第五章 HAMANT系统性能测试及应用实验第57-72页
    5.1 系统相关环境搭建第57-61页
        5.1.1 系统硬件配置第57-58页
        5.1.2 系统软件配置第58页
        5.1.3 Hadoop和HBase环境配置第58-61页
    5.2 系统性能测试分析第61-63页
    5.3 校园网实际应用实验第63-71页
        5.3.1 系统应用实验第63-64页
        5.3.2 实验结果分析第64-71页
    5.4 本章小结第71-72页
第六章 总结与展望第72-75页
    6.1 本文工作总结第72-74页
    6.2 未来工作展望第74-75页
参考文献第75-79页
致谢第79页

论文共79页,点击 下载论文
上一篇:基于混合架构的海量数据存储系统的研究与实现
下一篇:WSN环境下的黑洞攻击检测方法设计与实现