中文摘要 | 第3-4页 |
Abstract | 第4页 |
第一章 绪论 | 第9-18页 |
1.1 研究背景及意义 | 第9-10页 |
1.2 应用领域 | 第10-11页 |
1.2.1 商业领域 | 第10-11页 |
1.2.2 公共领域 | 第11页 |
1.3 国内外研究现状 | 第11-14页 |
1.3.1 事件发现的研究现状 | 第11-12页 |
1.3.2 情感分析的研究现状 | 第12-14页 |
1.4 中文微博情感分析面临的问题和挑战 | 第14-15页 |
1.4.1 海量数据 | 第14页 |
1.4.2 行文复杂和文本的缺失性 | 第14-15页 |
1.4.3 中文情感词典的构建尚存问题 | 第15页 |
1.5 论文主要内容 | 第15-16页 |
1.6 论文组织结构 | 第16-18页 |
第二章 理论基础和相关技术 | 第18-28页 |
2.1 文本特征的选择方法 | 第18-20页 |
2.1.1 文档频率 | 第18页 |
2.1.2 信息增益 | 第18-19页 |
2.1.3 互信息(Mutual Information,MI) | 第19页 |
2.1.4 CHI(chi-squarc statistic,CHI)方法 | 第19-20页 |
2.2 文本的分类算法 | 第20-23页 |
2.2.1 支持向量机(Support Vector Machine,SVM) | 第20页 |
2.2.2 贝叶斯分类方法 | 第20-22页 |
2.2.3 K近邻分类器(K-Nearest Neighbor,KNN) | 第22-23页 |
2.3 Hadoop技术 | 第23-28页 |
2.3.1 Hadoop的发展和应用 | 第23-24页 |
2.3.2 Hadoop分布式文件系统HDFS | 第24-25页 |
2.3.3 Hadoop分布式计算模型MapReduce | 第25-28页 |
第三章 基于Hadoop的微博情感分析系统结构设计 | 第28-36页 |
3.1 系统概述 | 第28-29页 |
3.1.1 需求分析 | 第28页 |
3.1.2 系统功能 | 第28-29页 |
3.2 系统整体框架 | 第29-30页 |
3.3 系统模块设计 | 第30-32页 |
3.3.1 系统模块框架 | 第30-31页 |
3.3.2 系统模块功能 | 第31-32页 |
3.4 数据库设计 | 第32-34页 |
3.5 系统数据流设计 | 第34-35页 |
3.6 并行分类器框架设计 | 第35-36页 |
第四章 基于Hadoop的微博情感分析系统详细设计及实现 | 第36-63页 |
4.1 数据采集模块 | 第36-42页 |
4.1.1 模块功能 | 第36页 |
4.1.2.基于网络爬虫的数据采集设计 | 第36-40页 |
4.1.3 基于开放平台API的数据采集设计 | 第40-41页 |
4.1.4 基于HDFS数据保存设计和实现 | 第41-42页 |
4.2 预处理模块 | 第42-47页 |
4.2.1 模块功能概述 | 第42页 |
4.2.2 数据清洗功能设计 | 第42-43页 |
4.2.3 分词功能设计 | 第43-45页 |
4.2.4 效果演示 | 第45-47页 |
4.3 情感词典的构建模块 | 第47-52页 |
4.3.1 模块功能 | 第47页 |
4.3.2 情感词典概述 | 第47-49页 |
4.3.3 情感词典设计 | 第49-51页 |
4.3.4 效果演示 | 第51-52页 |
4.4 特征抽取方法模块 | 第52-55页 |
4.4.1 词语+词性特征设计 | 第52页 |
4.4.2 多元词性组合特征设计 | 第52-53页 |
4.4.3 词频特征设计 | 第53-54页 |
4.4.4 特征抽取实现 | 第54页 |
4.4.5 效果演示 | 第54-55页 |
4.5 主客观分类模块 | 第55-60页 |
4.5.1 基于加权投票的组合分类方法设计 | 第55-56页 |
4.5.2 基于MapReduce的KNN分类器设计与实现 | 第56-57页 |
4.5.3 基于MapReduce的贝叶斯并行分类器的设计与实现 | 第57-59页 |
4.5.4 SVM分类器设计 | 第59-60页 |
4.5.5 加权投票的组合分类方法实现 | 第60页 |
4.6 基于情感词典的情感极性分析模块 | 第60-63页 |
4.6.1 模块功能 | 第60-61页 |
4.6.2 模块设计 | 第61页 |
4.6.3 模块实现 | 第61-63页 |
第五章 系统测试和分析 | 第63-72页 |
5.1 测试环境 | 第63页 |
5.2 搭建Hadoop集群 | 第63-68页 |
5.3 效果展示 | 第68-70页 |
5.4 实验结果和分析 | 第70-72页 |
第六章 总结与展望 | 第72-74页 |
6.1 论文总结 | 第72-73页 |
6.2 研究展望 | 第73-74页 |
参考文献 | 第74-76页 |
致谢 | 第76页 |