首页--工业技术论文--化学工业论文--一般性问题论文--化工产品与副产品论文--化工产品论文

基于Spark的易制毒化学品数据分析系统的设计与实现

摘要第4-5页
Abstract第5-6页
1 绪论第10-16页
    1.1 工程背景第10-11页
    1.2 国内外研究现状第11-13页
        1.2.1 数据实时处理研究现状第11-12页
        1.2.2 预测技术研究现状第12-13页
    1.3 研究内容第13-14页
    1.4 论文组织结构第14-16页
2 相关技术第16-28页
    2.1 Spark大数据计算框架第16-21页
        2.1.1 基本概念第16-17页
        2.1.2 集群模型第17页
        2.1.3 Spark数据集第17-19页
        2.1.4 Spark Streaming第19-20页
        2.1.5 Spark机器学习库第20-21页
    2.2 HBase第21-24页
        2.2.1 HBase框架第21-23页
        2.2.2 HBase数据模型第23-24页
        2.2.3 Spark整合HBase第24页
    2.3 其他相关技术第24-27页
        2.3.1 HDFS第24-25页
        2.3.2 Flume第25-26页
        2.3.3 Kafka第26-27页
    2.4 小结第27-28页
3 系统分析与设计第28-44页
    3.1 需求分析和设计目标第28-31页
        3.1.1 功能性需求第28-30页
        3.1.2 非功能性需求第30-31页
    3.2 系统框架设计第31-33页
    3.3 系统功能模块设计第33-42页
        3.3.1 ETL模块设计第34-36页
        3.3.2 HBase数据库设计第36-39页
        3.3.3 数据分析模块设计第39-41页
        3.3.4 可视化模块设计第41-42页
    3.4 小结第42-44页
4 实时数据流批次间隔的优化第44-54页
    4.1 分析问题第44-46页
        4.1.1 相关定义第44-45页
        4.1.2 系统稳定性第45-46页
        4.1.3 批次间隔的选取第46页
    4.2 批次间隔的优化第46-50页
        4.2.1 理想的批次间隔第46-47页
        4.2.2 算法思想第47-48页
        4.2.3 预处理第48-49页
        4.2.4 算法实现第49-50页
    4.3 测试第50-53页
    4.4 小结第53-54页
5 基于回归分析的价格预测模型第54-66页
    5.1 概述第54-56页
        5.1.1 分析问题第54-55页
        5.1.2 特征选取第55-56页
    5.2 基于线性回归的预测模型第56-61页
        5.2.1 算法思想第56-57页
        5.2.2 相关性验证第57-58页
        5.2.3 参数选取第58-59页
        5.2.4 算法实现第59-61页
    5.3 基于逻辑回归的预测模型第61-63页
        5.3.1 算法思想第61页
        5.3.2 算法实现第61-63页
    5.4 基于保序回归的预测模型第63-65页
        5.4.1 算法思想第63-64页
        5.4.2 算法实现第64-65页
    5.5 小结第65-66页
6 系统的实现与测试第66-78页
    6.1 系统实现第66-74页
        6.1.1 集群搭建第66-68页
        6.1.2 ETL模块的实现第68-71页
        6.1.3 数据分析模块的实现第71-72页
        6.1.4 可视化模块的实现第72-74页
    6.2 系统测试第74-76页
        6.2.1 集群容错性测试第74页
        6.2.2 ETL模块测试第74-75页
        6.2.3 性能测试第75-76页
        6.2.4 其他功能模块测试第76页
    6.3 小结第76-78页
7 总结与展望第78-80页
    7.1 总结第78页
    7.2 展望第78-80页
参考文献第80-84页
致谢第84页

论文共84页,点击 下载论文
上一篇:北宋荆州诗歌研究
下一篇:《畿辅艺文考》研究