首页--工业技术论文--自动化技术、计算机技术论文--计算技术、计算机技术论文--计算机软件论文--程序设计、软件工程论文--程序设计论文

基于Spark的海量数据实时查询系统的设计与实现

摘要第4-5页
ABSTRACT第5-6页
第一章 绪论第9-13页
    1.1 研究背景与意义第9-10页
    1.2 国内外相关技术现状第10-11页
    1.3 研究内容第11页
    1.4 论文组织结构第11-13页
第二章 相关技术介绍第13-31页
    2.1 HADOOP介绍第13-17页
        2.1.1 HDFS介绍第13-15页
        2.1.2 MapReduce介绍第15页
        2.1.3 YARN介绍第15-16页
        2.1.4 Hadoop Metrics和Ganglia介绍第16-17页
    2.2 SPARK介绍第17-23页
        2.2.1 Spark Core第18-21页
        2.2.2 Spark Streaming第21-23页
    2.3 HBASE介绍第23-29页
        2.3.1 HBase数据模型第24-25页
        2.3.2 HBase架构第25-26页
        2.3.3 HBase存储方式第26-27页
        2.3.4 HBase的MapReduce扩展第27-28页
        2.3.5 HBase协处理器第28页
        2.3.6 HBase与关系型数据库第28-29页
    2.4 SQL解析介绍第29-30页
    2.5 本章小结第30-31页
第三章 数据实时查询系统的总体设计第31-42页
    3.1 总体设计概述第31-33页
        3.1.1 设计目标第31页
        3.1.2 整体架构设计第31-33页
    3.2 数据实时转换子系统的设计第33-36页
        3.2.1 关键问题解决第33-34页
        3.2.2 子系统整体结构设计第34-35页
        3.2.3 各模块功能设计第35-36页
    3.3 实时数据查询子系统的设计第36-41页
        3.3.1 关键问题解决第36-38页
        3.3.2 子系统整体结构设计第38-39页
        3.3.3 辅助索引模块第39页
        3.3.4 类SQL查询模块第39-41页
    3.4 本章小结第41-42页
第四章 数据实时查询系统的实现第42-58页
    4.1 数据块分发优化实现第42-45页
        4.1.1 DataNode的选择第42-44页
        4.1.2 数据块分发第44-45页
    4.2 数据实时转换功能的实现第45-50页
        4.2.1 任务配置文件定义第45-47页
        4.2.2 配置解析和任务生成第47-49页
        4.2.3 任务的执行第49-50页
    4.3 类SQL查询的实现第50-54页
        4.3.1 SQL语句解析第50-53页
        4.3.2 关系表和HBase表模式转化第53-54页
    4.4 HBASE辅助索引功能实现第54-56页
        4.4.1 索引表的建立第54-55页
        4.4.2 索引表的使用和管理第55-56页
        4.4.3 索引表的维护第56页
    4.5 本章小结第56-58页
第五章 系统测试及结果分析第58-65页
    5.1 实验环境第58页
    5.2 测试与性能分析第58-64页
        5.2.1 功能验证第59-61页
        5.2.2 性能测试第61-64页
    5.3 本章小结第64-65页
第六章 总结与展望第65-67页
    6.1 工作总结第65页
    6.2 下一步工作第65-67页
参考文献第67-69页
致谢第69页

论文共69页,点击 下载论文
上一篇:基于规则引擎的通用预付费卡结算平台的设计与实现
下一篇:物联网平台的异构数据的融合与存储