个人电子数据云存储系统的设计与实现
| 摘要 | 第1-5页 |
| Abstract | 第5-6页 |
| 目录 | 第6-8页 |
| 1 引言 | 第8-11页 |
| ·课题研究背景和意义 | 第8-9页 |
| ·课题的国内外研究现状 | 第9-10页 |
| ·本文主要解决的问题及组织结构 | 第10-11页 |
| 2 相关技术概述 | 第11-21页 |
| ·Hadoop平台架构 | 第11-16页 |
| ·分布式文件系统HDFS | 第11-12页 |
| ·MapReduce编程模型 | 第12-14页 |
| ·RPC远程过程调用 | 第14-16页 |
| ·HBase平台架构 | 第16-17页 |
| ·HBase平台简介 | 第16-17页 |
| ·HBase列存储特点分析 | 第17页 |
| ·分布式检索 | 第17-19页 |
| ·Lucene倒排索引 | 第17-18页 |
| ·Katta实例分析 | 第18-19页 |
| ·电子数据存储系统 | 第19-21页 |
| 3 系统需求分析与概要设计 | 第21-27页 |
| ·用户需求分析 | 第21-23页 |
| ·系统架构设计 | 第23-24页 |
| ·电子数据处理流程概述 | 第24-25页 |
| ·系统开发环境 | 第25-27页 |
| 4 个人电子数据的云存储机制 | 第27-40页 |
| ·HDFS与HBase存储特点分析 | 第27-28页 |
| ·逻辑存储机制设计 | 第28-30页 |
| ·视频文件存储设计 | 第28页 |
| ·文本图片存储设计 | 第28-30页 |
| ·物理存储机制设计 | 第30-34页 |
| ·行列式存储模式 | 第30-31页 |
| ·基于HDFS的分类索引设计 | 第31-32页 |
| ·并行ETL转换 | 第32-33页 |
| ·基于HDFS的多主题复合查询定位 | 第33-34页 |
| ·用户功能设计 | 第34-40页 |
| ·文件上传 | 第34-36页 |
| ·文件删除 | 第36-39页 |
| ·文件下载 | 第39-40页 |
| 5 分布式全文索引与检索方案设计 | 第40-48页 |
| ·Lucene索引结构设计 | 第40-41页 |
| ·分布式全文索引的设计与构建 | 第41-45页 |
| ·输入格式InputFormat | 第41-43页 |
| ·索引建Mapper类 | 第43-45页 |
| ·索引建Reducer类 | 第45页 |
| ·索引建立触发器设计 | 第45-46页 |
| ·检索模块设计 | 第46-48页 |
| 6 系统实现 | 第48-57页 |
| ·电子数据存储管理模块实现 | 第48-52页 |
| ·文件上传 | 第48-50页 |
| ·文件删除 | 第50-52页 |
| ·索引模块的实现 | 第52-54页 |
| ·RPC远程调用在索引模块的实现 | 第54-56页 |
| ·检索模块的实现 | 第56-57页 |
| 7 系统测试 | 第57-60页 |
| ·测试目的 | 第57页 |
| ·测试计划 | 第57页 |
| ·测试结果 | 第57-60页 |
| 结论 | 第60-61页 |
| 参考文献 | 第61-63页 |
| 致谢 | 第63-64页 |
