摘要 | 第4-5页 |
Abstract | 第5页 |
目录 | 第6-8页 |
第1章 绪论 | 第8-14页 |
1.1 课题背景和意义 | 第8-9页 |
1.2 话题检测方法国内外研究现状 | 第9-12页 |
1.3 课题主要研究内容 | 第12页 |
1.4 本文的结构安排 | 第12-14页 |
第2章 话题检测与Hadoop框架综述 | 第14-26页 |
2.1 话题检测的相关概念 | 第14-15页 |
2.2 常用话题检测算法介绍 | 第15-19页 |
2.2.1 Single-Pass算法介绍 | 第15-16页 |
2.2.2 K-Means算法介绍 | 第16-17页 |
2.2.3 概率主题模型介绍 | 第17-19页 |
2.3 预处理 | 第19-20页 |
2.3.1 文本表示 | 第20页 |
2.3.2 特征权重表示 | 第20页 |
2.4 HADOOP框架的相关知识 | 第20-25页 |
2.4.1 Hadoop介绍 | 第20-23页 |
2.4.2 Hadoop分布式编程及执行流程 | 第23-25页 |
2.5 本章小结 | 第25-26页 |
第3章 话题检测算法 | 第26-40页 |
3.1 基于SINGLE-PASS的话题检测算法 | 第26-30页 |
3.1.1 Single-Pass话题检测算法原理 | 第26-29页 |
3.1.2 Single-Pass话题检测算法实现 | 第29-30页 |
3.2 基于SINGLE-PASS的话题检测算法优化 | 第30-34页 |
3.2.1 Double-Pass算法 | 第30-32页 |
3.2.2 CFC-DP算法 | 第32-34页 |
3.3 实验与分析 | 第34-39页 |
3.3.1 数据集 | 第34-35页 |
3.3.2 结果评估方法 | 第35-36页 |
3.3.3 实验结果及分析 | 第36-39页 |
3.4 小结 | 第39-40页 |
第4章 分布式话题检测算法 | 第40-55页 |
4.1 基于MAP-REDUCE的分布式话题检测算法 | 第40-43页 |
4.2 基于HADOOP的分布式话题检测算法实现 | 第43-46页 |
4.2.1 Mapper | 第43-45页 |
4.2.2 Reducer | 第45-46页 |
4.3 实验与分析 | 第46-54页 |
4.3.1 数据集 | 第46-47页 |
4.3.2 结果评估方法 | 第47页 |
4.3.3 实验结果及分析 | 第47-54页 |
4.4 小结 | 第54-55页 |
第5章 分布式话题检测系统的实现与应用 | 第55-61页 |
5.1 分布式话题检测系统介绍 | 第55-56页 |
5.2 分布式话题检测系统各模块介绍 | 第56-59页 |
5.2.1 数据读取前端模块 | 第56-57页 |
5.2.2 预处理模块 | 第57页 |
5.2.3 话题检测算法模块 | 第57页 |
5.2.4 分布式处理模块 | 第57-58页 |
5.2.5 话题保存及展示模块 | 第58-59页 |
5.3 分布式话题检测系统展示 | 第59-60页 |
5.4 小结 | 第60-61页 |
结论 | 第61-63页 |
参考文献 | 第63-69页 |
致谢 | 第69页 |