首页--工业技术论文--自动化技术、计算机技术论文--自动化技术及设备论文--自动化系统论文--数据处理、数据处理系统论文

基于Spark Streaming的试验数据处理系统的研究与实现

摘要第5-6页
ABSTRACT第6-7页
缩略语对照表第11-14页
第一章 绪论第14-20页
    1.1 选题背景第14-15页
    1.2 国内外研究现状第15-17页
        1.2.1 航空航天领域现状第15页
        1.2.2 离线与实时处理的研究现状第15-17页
    1.3 研究内容与工作第17页
    1.4 论文结构第17-20页
第二章 相关技术概述第20-30页
    2.1 内存实时计算技术第20-24页
        2.1.1 Spark内存计算第20-21页
        2.1.2 Spark Streaming流式计算第21-24页
    2.2 分布式消息队列Kafka第24-27页
        2.2.1 Kafka概述与监控第24-25页
        2.2.2 Kafka使用场景与原理第25-27页
    2.3 内存数据库Redis第27-28页
    2.4 ZooKeeper与Kafka集成第28-29页
    2.5 本章小结第29-30页
第三章 试验数据处理系统需求分析与设计第30-52页
    3.1 系统总体需求分析与总体设计第30-35页
        3.1.1 平台总体需求分析第30-31页
        3.1.2 1553B总线数据的分析第31-32页
        3.1.3 平台总体设计第32-35页
    3.2 基于Kafka的消息生产消费设计与实现第35-43页
        3.2.1 数据生产者的设计与实现第35-38页
        3.2.2 数据消费者的设计与实现第38-43页
    3.3 基于RDD的二进制数据解析计算第43-47页
        3.3.1 二进制数据的解析第43-46页
        3.3.2 解析处理数据的计算第46-47页
    3.4 计算数据的Redis缓存设计第47-51页
        3.4.1 数据存储结构的设计第47-49页
        3.4.2 数据访问的封装第49-51页
    3.5 本章小结第51-52页
第四章 试验数据处理系统性能分析第52-58页
    4.1 数据收集队列的性能分析第52-54页
        4.1.1 消息缓存与压缩第52-53页
        4.1.2 消息分发策略第53-54页
    4.2 数据解析处理的性能分析第54-56页
        4.2.1 数据消费调优第54-55页
        4.2.2 数据序列化第55-56页
    4.3 本章小结第56-58页
第五章 试验数据处理系统集成与验证第58-72页
    5.1 实验环境搭建第58-61页
        5.1.1 软硬件环境第58-60页
        5.1.2 系统部署与启动第60-61页
    5.2 系统调优基本步骤第61-68页
        5.2.1 数据收集第62-65页
        5.2.2 数据解析处理第65-68页
    5.3 性能分析与比较第68-71页
    5.4 本章小结第71-72页
第六章 总结与展望第72-74页
    6.1 总结第72页
    6.2 展望第72-74页
参考文献第74-76页
致谢第76-78页
作者简介第78-79页

论文共79页,点击 下载论文
上一篇:杜蒙F1杂交肉用绵羊妊娠期与哺乳期能量和蛋白质需要量的研究
下一篇:东苏旗不同季节牧草对放牧羊瘤胃内环境及血液生理生化指标的影响