摘要 | 第4-5页 |
Abstract | 第5-6页 |
第1章 绪论 | 第9-12页 |
1.1 课题研究背景及意义 | 第9-10页 |
1.2 研究现状 | 第10-11页 |
1.2.1 大数据技术研究与应用现状 | 第10-11页 |
1.2.2 船舶行业大数据平台研究现状 | 第11页 |
1.3 研究内容 | 第11-12页 |
第2章 船舶柴油机大数据平台需求分析及框架设计 | 第12-33页 |
2.1 船舶柴油机大数据平台功能需求分析 | 第12页 |
2.2 相关技术介绍 | 第12-26页 |
2.2.1 Hadoop | 第12-18页 |
2.2.2 Flume | 第18-21页 |
2.2.3 HBase | 第21-26页 |
2.3 船舶柴油机大数据平台架构 | 第26-32页 |
2.3.1 数据采集模块 | 第28-29页 |
2.3.2 数据存储和分析模块 | 第29-30页 |
2.3.3 数据查询模块 | 第30-31页 |
2.3.4 数据可视化模块 | 第31-32页 |
2.4 本章小结 | 第32-33页 |
第3章 数据采集模块设计 | 第33-47页 |
3.1 数据采集模块整体设计 | 第33页 |
3.2 上位软件设计 | 第33-40页 |
3.2.1 数据通讯单元 | 第34-35页 |
3.2.2 数据处理单元 | 第35-39页 |
3.2.3 数据显示和保存单元 | 第39-40页 |
3.3 Flume采集系统设计 | 第40-46页 |
3.3.1 数据采集层设计 | 第41-43页 |
3.3.2 数据汇聚层设计 | 第43-46页 |
3.4 本章小结 | 第46-47页 |
第4章 数据存储和查询模块设计 | 第47-63页 |
4.1 数据存储和查询模块结构设计 | 第47-48页 |
4.2 数据存储模块设计 | 第48-53页 |
4.2.1 HBase数据加载方式设计 | 第48-49页 |
4.2.2 HBase数据加载方式测试 | 第49-50页 |
4.2.3 HBase表设计 | 第50-52页 |
4.2.4 HBase表预分区设计 | 第52-53页 |
4.3 数据查询模块设计 | 第53-62页 |
4.3.1 HBase查询架构 | 第53-57页 |
4.3.2 HBase协处理器 | 第57-58页 |
4.3.3 二级索引设计 | 第58-61页 |
4.3.4 HBase查询性能测试 | 第61-62页 |
4.4 本章小结 | 第62-63页 |
第5章 平台实现及测试 | 第63-73页 |
5.1 平台开发环境 | 第63页 |
5.2 Hadoop+ZooKeeper+HBase 集群搭建 | 第63-67页 |
5.3 Hadoop 平台性能测试 | 第67-71页 |
5.3.1 TestDFSIO 测试 | 第67-70页 |
5.3.2 Mrbench 测试 | 第70页 |
5.3.3 TeraSort 测试 | 第70-71页 |
5.4 数据统计分析及可视化 | 第71页 |
5.5 本章小结 | 第71-73页 |
第6章 总结与展望 | 第73-75页 |
致谢 | 第75-76页 |
参考文献 | 第76-79页 |
攻读硕士学位期间所发表的论文 | 第79页 |