首页--工业技术论文--自动化技术、计算机技术论文--自动化技术及设备论文--自动化系统论文--数据处理、数据处理系统论文

面向集群监控的数据采集处理及存储系统的设计与实现

摘要第5-6页
Abstract第6-7页
第一章 绪论第11-16页
    1.1 研究背景和意义第11页
    1.2 研究现状第11-14页
        1.2.1 典型的集群监控系统第11-13页
        1.2.2 现有监控系统存在的主要问题第13-14页
    1.3 本文的主要工作第14-15页
    1.4 论文的组织结构第15-16页
第二章 监控数据采集处理及存储系统的总体设计第16-24页
    2.1 系统需求分析第16-18页
        2.1.1 监控数据的种类分析第16-17页
        2.1.2 监控数据的统计与管理需求第17页
        2.1.3 监控数据采集与上报需求第17页
        2.1.4 监控数据的分析与处理需求第17-18页
        2.1.5 监控数据的存储需求第18页
    2.2 系统总体架构设计第18-23页
        2.2.1 系统总体组织框架第18-19页
        2.2.2 系统各模块设计概要第19-23页
    2.3 本章小结第23-24页
第三章 系统数据采集层的实现第24-37页
    3.1 kvtable监控数据存储结构详细设计第24-26页
        3.1.1 监控数据统计管理方式详细设计第24-25页
        3.1.2 kvtable存储结构设计第25-26页
    3.2 基于共享内存的kvtable监控数据存储结构详细实现第26-31页
        3.2.1 kvtable实现的理论基础第27页
        3.2.2 kvtable的数据结构实现第27-29页
        3.2.3 kvtable的初始化流程实现第29-31页
    3.3 基于kvtable的单机监控数据统计接第31-33页
        3.3.1 gcc原子操作第31-32页
        3.3.2 统计接.的实现第32-33页
        3.3.3 统计接.的调用流程第33页
    3.4 基于kvtable的单机监控数据采集上报第33-36页
        3.4.1 Agent与业务模块程序的隔离性第33-34页
        3.4.2 Agent采集上报的实现第34-36页
    3.5 本章小结第36-37页
第四章 系统数据处理层的实现第37-51页
    4.1 监控数据采集处理及存储系统的高可用架构设计第37-42页
        4.1.1 监控数据上报的高可用设计第37-38页
        4.1.2 监控数据处理的高可用设计第38-41页
        4.1.3 监控数据入库存储的高可用设计第41-42页
    4.2 处理层接入模块Storage的实现第42-47页
        4.2.1 监控数据上报与收集详细设计实现第42-45页
        4.2.2 历史监控数据的获取功能详细设计第45-47页
    4.3 处理层数据处理模块Reduce的实现第47-50页
        4.3.1 接收Storage模块的转发数据功能详细实现第47-48页
        4.3.2 Reduce模块监控数据处理详细实现第48-50页
    4.4 本章小结第50-51页
第五章 系统数据存储层的实现第51-60页
    5.1 基于My SQL的高性能存储结构的设计第51-55页
        5.1.1 监控数据存储面临的问题第51页
        5.1.2 高性能定制化表结构的设计及实现第51-53页
        5.1.3 高性能定制化表结构的实现第53-55页
    5.2 监控数据存储详细实现第55-58页
        5.2.1 Reduce模块与Dbproxy的通信协议设计第55-56页
        5.2.2 Dbproxy数据入库详细实现第56-58页
    5.3 本章小结第58-60页
第六章 集群监控数据采集处理及存储系统测试第60-83页
    6.1 测试环境部署第60页
    6.2 基于矩阵结构的kvtable分析测试第60-65页
        6.2.1 kvtable存储情况分析第61-62页
        6.2.2 kvtable读写情况分析第62-64页
        6.2.3 Agent的运行性能分析测试第64-65页
    6.3 基于My SQL的高性能存储表结构测试第65-69页
        6.3.1 写入性能测试第66-68页
        6.3.2 查询性能测试第68-69页
    6.4 以数据处理层为核心的高可用系统架构分析测试第69-80页
        6.4.1 测试前提及分析方法说明第70页
        6.4.2 监控数据上报的高可用设计测试第70-72页
        6.4.3 监控数据处理的高可用设计测试第72-77页
        6.4.4 监控数据入库存储的高可用设计第77-78页
        6.4.5 数据处理性能测试第78-80页
    6.5 监控数据展示功能分析第80-81页
    6.6 测试分析总结第81-83页
总结与展望第83-85页
    论文总结第83页
    展望第83-85页
参考文献第85-88页
攻读硕士学位期间取得的研究成果第88-89页
致谢第89-90页
附件第90页

论文共90页,点击 下载论文
上一篇:电子鼻系统信号预处理及识别
下一篇:新型平面螺旋天线的研究与设计