基于海量数据的存储与实时事件发现系统的设计与实现
| 摘要 | 第1-5页 |
| ABSTRACT | 第5-11页 |
| 第一章 绪论 | 第11-16页 |
| ·研究背景 | 第11-13页 |
| ·海量数据处理背景 | 第11-12页 |
| ·AIS数据 | 第12页 |
| ·AIS事件发现系统的研究背景 | 第12-13页 |
| ·AIS数据应用现状和研究意义 | 第13-14页 |
| ·本文要解决的问题 | 第14-15页 |
| ·论文的组织结构 | 第15-16页 |
| 第二章 需求分析 | 第16-20页 |
| ·总体需求 | 第16-17页 |
| ·系统模块功能需求 | 第17-20页 |
| ·对外数据查询模块 | 第18页 |
| ·数据存储模块 | 第18页 |
| ·原始数据导入模块 | 第18-19页 |
| ·AIS事件发现引擎 | 第19页 |
| ·订阅和发送模块 | 第19-20页 |
| 第三章 海量数据存储的研究 | 第20-26页 |
| ·MySQL数据库存储引擎介绍 | 第20-21页 |
| ·整表存储方案以及测试 | 第21-23页 |
| ·分表存储方案的研究 | 第23-25页 |
| ·数据表分区的背景研究 | 第23-24页 |
| ·AIS数据分表方案 | 第24页 |
| ·缺陷分析 | 第24-25页 |
| ·研究结论 | 第25-26页 |
| 第四章 基于netCDF数据格式的数据存储研究 | 第26-40页 |
| ·netCDF数据格式背景介绍 | 第26页 |
| ·netCDF数据格式深入研究 | 第26-36页 |
| ·netCDF数据格式的物理结构 | 第27-28页 |
| ·netCDF数据格存储AIS数据 | 第28-36页 |
| ·小结 | 第36页 |
| ·I/O效率测试 | 第36-38页 |
| ·固定维度的逐条写入 | 第36-37页 |
| ·变化维度的逐条写入 | 第37页 |
| ·批量变化维度写入 | 第37页 |
| ·写入实验总结 | 第37-38页 |
| ·单条读取 | 第38页 |
| ·批量读取 | 第38页 |
| ·小结 | 第38页 |
| ·本章总结 | 第38-40页 |
| 第五章 设计实现netCDF函数库 | 第40-53页 |
| ·数据结构 | 第40页 |
| ·函数库结构 | 第40-41页 |
| ·模块详细设计 | 第41-52页 |
| ·文件直接操作模块设计 | 第42-44页 |
| ·netCDF文件描述符管理模块 | 第44-46页 |
| ·I/O过程处理模块 | 第46-48页 |
| ·封装Mysql C API I/O函数 | 第48-49页 |
| ·初始化环境模块 | 第49-50页 |
| ·数据库查询应用封装 | 第50-51页 |
| ·netCDF库外部接口 | 第51-52页 |
| ·函数库的编译和使用 | 第52-53页 |
| ·函数库编译 | 第52页 |
| ·函数库使用 | 第52-53页 |
| 第六章 AIS数据存储系统的设计与实现 | 第53-63页 |
| ·系统结构 | 第53-54页 |
| ·辅助数据库表 | 第54-56页 |
| ·实时数据表 | 第54-55页 |
| ·netCDF文件索引格式表 | 第55页 |
| ·netCDF文件索引当日表 | 第55-56页 |
| ·netCDF文件索引历史表 | 第56页 |
| ·程序运行流程 | 第56-57页 |
| ·数据导入线程 | 第56页 |
| ·数据表处理线程 | 第56-57页 |
| ·数据文件压缩 | 第57-58页 |
| ·错误恢复方案 | 第58-59页 |
| ·索引数据表错误恢复 | 第58-59页 |
| ·数据文件错误恢复 | 第59页 |
| ·AIS数据查询服务进程的设计 | 第59-62页 |
| ·流程设计 | 第60-61页 |
| ·查询接口设计 | 第61-62页 |
| ·本章小结 | 第62-63页 |
| 第七章 AIS事件模型和事件发现引擎的设计与实现 | 第63-89页 |
| ·事件模型 | 第63-71页 |
| ·状态变化事件 | 第63-64页 |
| ·航行动态事件 | 第64-68页 |
| ·区域相关事件 | 第68-69页 |
| ·设备相关事件 | 第69-71页 |
| ·数据模型设计 | 第71-78页 |
| ·事件ID码表 | 第71-72页 |
| ·流水事件表 | 第72页 |
| ·流水事件辅助表 | 第72-73页 |
| ·用户订阅的系统eventID参数 | 第73页 |
| ·用户订阅邮件发送队列 | 第73-74页 |
| ·用户自定义订阅规则表(区域相关) | 第74页 |
| ·用户自定义订阅规则表(点相关) | 第74-75页 |
| ·消失跟踪中间表 | 第75页 |
| ·消失不跟踪中间表 | 第75-76页 |
| ·实时AIS数据表 | 第76页 |
| ·实时AIS数据过期表 | 第76页 |
| ·区域事件中间表 | 第76-77页 |
| ·航线添补表 | 第77页 |
| ·系统计算航线结果表 | 第77页 |
| ·随机点航线计算结果表 | 第77-78页 |
| ·事件发现引擎设计 | 第78-86页 |
| ·数据存储模块 | 第79-81页 |
| ·流程控制模块 | 第81-83页 |
| ·事件计算单元 | 第83-86页 |
| ·系统上线测试 | 第86-89页 |
| ·数据导入netCDF系统运行结果 | 第86页 |
| ·事件发现引擎计算结果 | 第86-87页 |
| ·事件计算结果展示 | 第87-89页 |
| 第八章 论文总结与展望 | 第89-91页 |
| ·论文工作总结 | 第89页 |
| ·进一步的工作 | 第89-91页 |
| 参考文献 | 第91-92页 |
| 致谢 | 第92-93页 |
| 攻读学位期间发表的学术论文目录 | 第93页 |
