基于Spark的PostgreSQL数据分析扩展中间件的研究
| 摘要 | 第4-5页 |
| abstract | 第5页 |
| 第一章 引言 | 第12-22页 |
| 1.1 研究背景及意义 | 第12-14页 |
| 1.2 研究现状 | 第14-18页 |
| 1.2.1 MPP数据库 | 第14-15页 |
| 1.2.2 SQL-on-Hadoop | 第15-17页 |
| 1.2.3 Spark SQL | 第17-18页 |
| 1.3 本文工作 | 第18-21页 |
| 1.4 论文结构 | 第21-22页 |
| 第二章 相关技术介绍 | 第22-28页 |
| 2.1 PostgreSQL数据库 | 第22-23页 |
| 2.2 Spark分布式计算框架 | 第23-25页 |
| 2.2.1 Spark架构 | 第23-24页 |
| 2.2.2 Spark MLlib | 第24-25页 |
| 2.2.3 Spark-Shell | 第25页 |
| 2.3 通信技术 | 第25-27页 |
| 2.3.1 Thrift | 第25-26页 |
| 2.3.2 ZeroMQ | 第26-27页 |
| 2.4 本章小结 | 第27-28页 |
| 第三章 互操作的中间件机制 | 第28-36页 |
| 3.1 中间件的提出 | 第28-30页 |
| 3.2 中间件的设计 | 第30-34页 |
| 3.2.1 通信协议 | 第30-32页 |
| 3.2.2 接口设计 | 第32-33页 |
| 3.2.3 数据传输 | 第33页 |
| 3.2.4 消息处理 | 第33-34页 |
| 3.3 中间件的管理 | 第34-35页 |
| 3.3.1 一对一模式 | 第34页 |
| 3.3.2 多对多模式 | 第34-35页 |
| 3.4 本章小结 | 第35-36页 |
| 第四章 系统设计与实现 | 第36-47页 |
| 4.1 系统架构设计 | 第36-38页 |
| 4.1.1 系统整体设计 | 第36-37页 |
| 4.1.2 系统执行流程 | 第37-38页 |
| 4.2 Dex中间件 | 第38-42页 |
| 4.2.1 通信实现 | 第38-39页 |
| 4.2.2 接口实现 | 第39-40页 |
| 4.2.3 数据传输 | 第40-41页 |
| 4.2.4 数据处理 | 第41-42页 |
| 4.3 PostgreSQL扩展接口 | 第42-44页 |
| 4.3.1 数据表设计 | 第42页 |
| 4.3.2 消息交互 | 第42-43页 |
| 4.3.3 数据获取 | 第43-44页 |
| 4.4 Spark扩展接口 | 第44-46页 |
| 4.4.1 连接设计 | 第44页 |
| 4.4.2 交互式设计 | 第44-45页 |
| 4.4.3 DexDataFrame设计 | 第45-46页 |
| 4.5 本章小结 | 第46-47页 |
| 第五章 系统性能分析 | 第47-54页 |
| 5.1 系统可用性 | 第47-48页 |
| 5.2 KMEANS的性能分析 | 第48-51页 |
| 5.2.1 MADLIB简介 | 第48页 |
| 5.2.2 数据集 | 第48-49页 |
| 5.2.3 数据处理 | 第49页 |
| 5.2.4 性能分析 | 第49-51页 |
| 5.3 公交WIFI内容推荐 | 第51-53页 |
| 5.3.1 数据集 | 第51页 |
| 5.3.2 数据处理 | 第51-52页 |
| 5.3.3 性能分析 | 第52-53页 |
| 5.4 本章小结 | 第53-54页 |
| 第六章 结束语 | 第54-56页 |
| 6.1 本文工作总结 | 第54-55页 |
| 6.2 下一步研究方向 | 第55-56页 |
| 参考文献 | 第56-58页 |
| 致谢 | 第58-59页 |
| 作者简介 | 第59页 |
