基于微博数据流的热点话题发现方法研究及系统设计
| 致谢 | 第5-6页 |
| 摘要 | 第6-7页 |
| ABSTRACT | 第7-8页 |
| 1 引言 | 第12-16页 |
| 1.1 课题研究背景 | 第12-13页 |
| 1.2 国内外现状 | 第13-14页 |
| 1.3 课题研究内容 | 第14-15页 |
| 1.4 论文的组织安排 | 第15-16页 |
| 2 相关理论与技术 | 第16-28页 |
| 2.1 话题检测技术 | 第16页 |
| 2.2 文本预处理方法 | 第16-18页 |
| 2.2.1 中文分词 | 第17-18页 |
| 2.2.2 去停用词 | 第18页 |
| 2.3 文本表示模型 | 第18-22页 |
| 2.3.1 布尔模型 | 第18-19页 |
| 2.3.2 空间向量模型 | 第19-20页 |
| 2.3.3 语义分析模型 | 第20-22页 |
| 2.4 文本聚类算法 | 第22-25页 |
| 2.4.1 基于划分的聚类算法 | 第22-23页 |
| 2.4.2 基于层次的聚类算法 | 第23-24页 |
| 2.4.3 基于密度的聚类算法 | 第24页 |
| 2.4.4 基于网格的聚类算法和其他的聚类算法 | 第24-25页 |
| 2.5 评价方法 | 第25-27页 |
| 2.5.1 相似度计算 | 第25-26页 |
| 2.5.2 聚类的评价 | 第26-27页 |
| 2.6 小结 | 第27-28页 |
| 3 话题热度度量及热点发现方法 | 第28-39页 |
| 3.1 微博特征分析 | 第28-30页 |
| 3.1.1 属性选择 | 第28-29页 |
| 3.1.2 特性分析 | 第29-30页 |
| 3.2 基于LDA的微博话题提取 | 第30-35页 |
| 3.2.1 主题模型 | 第30-31页 |
| 3.2.2 LDA主题建模 | 第31-33页 |
| 3.2.3 参数估计方法 | 第33-35页 |
| 3.2.4 LDA模型处理过程 | 第35页 |
| 3.3 话题热度模型 | 第35-38页 |
| 3.3.1 用户影响力计算 | 第36页 |
| 3.3.2 微博影响力计算 | 第36-37页 |
| 3.3.3 话题热度度量 | 第37-38页 |
| 3.4 小结 | 第38-39页 |
| 4 微博数据流热点话题发现系统构建 | 第39-50页 |
| 4.1 整体架构 | 第39-40页 |
| 4.2 流式处理框架 | 第40-41页 |
| 4.3 数据获取 | 第41-44页 |
| 4.3.1 数据获取方式选择 | 第41-42页 |
| 4.3.2 爬虫策略 | 第42-44页 |
| 4.4 数据预处理及结果 | 第44-45页 |
| 4.4.1 用户的筛选 | 第44页 |
| 4.4.2 正文信息数据预处理 | 第44-45页 |
| 4.5 热点话题发现 | 第45-48页 |
| 4.5.1 LDA模型训练 | 第46-47页 |
| 4.5.2 推测文档的话题 | 第47页 |
| 4.5.3 时间窗口的设定 | 第47-48页 |
| 4.6 结果展示模块架构选择与分析 | 第48-49页 |
| 4.6.1 前后端MVC架构 | 第48-49页 |
| 4.6.2 结果展示处理流程 | 第49页 |
| 4.7 小结 | 第49-50页 |
| 5 结果与分析 | 第50-57页 |
| 5.1 实验环境 | 第50页 |
| 5.2 评价指标 | 第50-51页 |
| 5.2.1 相似度 | 第50-51页 |
| 5.2.2 困惑度 | 第51页 |
| 5.3 LDA参数分析 | 第51-53页 |
| 5.3.1 迭代次数 | 第52页 |
| 5.3.2 最优主题个数 | 第52-53页 |
| 5.4 LDA模型训练以及文档分析 | 第53-56页 |
| 5.4.1 模型训练 | 第53-54页 |
| 5.4.2 模型在线使用 | 第54-55页 |
| 5.4.3 结果展示 | 第55-56页 |
| 5.5 小结 | 第56-57页 |
| 6 总结与展望 | 第57-59页 |
| 6.1 总结 | 第57-58页 |
| 6.2 展望 | 第58-59页 |
| 参考文献 | 第59-62页 |
| 作者简历及攻读硕士学位期间取得的研究成果 | 第62-64页 |
| 学位论文数据集 | 第64页 |
