摘要 | 第6-8页 |
Abstract | 第8-9页 |
第1章 引言 | 第13-19页 |
1.1 课题的研究背景 | 第13-15页 |
1.1.1 大数据时代 | 第13页 |
1.1.2 实体识别 | 第13-15页 |
1.2 问题提出 | 第15-16页 |
1.3 文章主要内容 | 第16-17页 |
1.4 本文组织结构 | 第17-19页 |
第2章 相关工作 | 第19-31页 |
2.1 数据预处理 | 第19-20页 |
2.2 相似性计算 | 第20-22页 |
2.3 国内外研究现状 | 第22-26页 |
2.3.1 实体匹配算法 | 第22-24页 |
2.3.2 实体归一化合并 | 第24-25页 |
2.3.3 分区技术 | 第25-26页 |
2.4 MapReduce模型 | 第26-28页 |
2.4.1 编程模式 | 第27-28页 |
2.4.2 作业处理流程 | 第28页 |
2.5 本章小结 | 第28-31页 |
第3章 基于MapReduce的实体识别框架 | 第31-37页 |
3.1 现有实体识别框架 | 第31-32页 |
3.2 实体识别框架体系结构 | 第32-33页 |
3.3 实体识别处理流程 | 第33-34页 |
3.4 实体识别框架关键技术 | 第34-36页 |
3.4.1 分布式相似性连接 | 第34-35页 |
3.4.2 面向MapReduce的实体识别任务调度 | 第35-36页 |
3.5 本章小结 | 第36-37页 |
第4章 基于位置信息的集合相似连接策略 | 第37-53页 |
4.1 问题描述 | 第37-39页 |
4.2 文本预处理 | 第39-40页 |
4.3 基于位置信息的过滤方法 | 第40-44页 |
4.3.1 集合的字符串表示方法 | 第40页 |
4.3.2 长度过滤 | 第40-41页 |
4.3.3 前缀索引 | 第41-42页 |
4.3.4 位置信息过滤原理 | 第42-44页 |
4.4 全前缀过滤方法 | 第44-48页 |
4.4.1 前缀过滤方法的不足 | 第44页 |
4.4.2 基于前缀过滤的改进方法 | 第44-48页 |
4.5 Nppjoin前缀过滤算法 | 第48-50页 |
4.6 基于管道流的过滤框架 | 第50页 |
4.7 本章小结 | 第50-53页 |
第5章 面向MapReduce框架实体识别任务调度 | 第53-67页 |
5.1 MapReduce上的相似连接算法(SJE)的任务调度 | 第53-59页 |
5.1.1 信息统计 | 第53-54页 |
5.1.2 MapReduce负载均衡 | 第54-57页 |
5.1.3 计算相似文本 | 第57-59页 |
5.1.4 记录连接 | 第59页 |
5.2 MapReduce上的相似子图构建(SSGC)任务调度 | 第59-65页 |
5.2.1 BasicSSG算法 | 第61-63页 |
5.2.2 ImproSSG算法 | 第63-65页 |
5.3 MapReduce上的实体合并(EME)任务调度 | 第65-66页 |
5.4 本章小结 | 第66-67页 |
第6章 系统实现与实验结果分析 | 第67-75页 |
6.1 实验环境 | 第67页 |
6.2 MapReduce相似连接算法实验结果与性能评估 | 第67-71页 |
6.2.1 改变数据集规模对性能的影响 | 第67-69页 |
6.2.2 改变相似度阈值对性能的影响 | 第69-70页 |
6.2.3 N前缀过滤算法的参数确定 | 第70-71页 |
6.3 MapRedcue相似子图构建算法实验结果与性能评估 | 第71页 |
6.4 原型系统系统演示 | 第71-74页 |
6.4.1 用户交互 | 第71-72页 |
6.4.2 任务提交和管理 | 第72页 |
6.4.3 结果演示 | 第72-74页 |
6.5 本章小结 | 第74-75页 |
第7章 总结与展望 | 第75-77页 |
7.1 本文工作总结 | 第75-76页 |
7.2 进一步研究的工作 | 第76-77页 |
参考文献 | 第77-83页 |
致谢 | 第83-85页 |
攻硕期间发表的论文及参加的项目 | 第85页 |