摘要 | 第3-4页 |
Abstract | 第4-5页 |
第1章 绪论 | 第8-14页 |
1.1 课题研究背景及意义 | 第8-9页 |
1.1.1 课题研究背景 | 第8-9页 |
1.1.2 课题研究意义 | 第9页 |
1.2 国内外研究现状 | 第9-11页 |
1.2.1 文本特征提取研究现状 | 第9-11页 |
1.2.2 Spark并行计算研究现状 | 第11页 |
1.3 本文的研究重点 | 第11-12页 |
1.4 本文结构 | 第12-13页 |
1.5 本章小结 | 第13-14页 |
第2章 相关技术概述 | 第14-23页 |
2.1 文本预处理 | 第14-15页 |
2.2 特征提取 | 第15-16页 |
2.3 特征权重计算 | 第16页 |
2.4 文本分类算法 | 第16-18页 |
2.4.1 朴素贝叶斯算法 | 第16-17页 |
2.4.2 余弦相似度 | 第17-18页 |
2.4.3 KNN分类算法 | 第18页 |
2.5 Spark计算框架 | 第18-22页 |
2.5.1 Spark生态系统 | 第19-21页 |
2.5.2 弹性分布式数据集RDD | 第21-22页 |
2.6 本章小结 | 第22-23页 |
第3章 文本特征提取方法研究 | 第23-31页 |
3.1 基于Wrapper封装式特征选择算法 | 第23-24页 |
3.1.1 遗传算法 | 第23-24页 |
3.1.2 SVM支持向量机算法 | 第24页 |
3.2 基于Filter过滤式特征选择算法 | 第24-29页 |
3.2.1 基于距离测度的特征聚类选择算法 | 第24-25页 |
3.2.2 基于信息测度的特征选择算法 | 第25-29页 |
3.3 Filter和Wrapper组合式特征选择算法 | 第29-30页 |
3.4 本章小结 | 第30-31页 |
第4章 基于语义规则的特征提取算法 | 第31-43页 |
4.1 语义关系分析 | 第31-32页 |
4.1.1 句型分析 | 第31页 |
4.1.2 句间关系分析 | 第31-32页 |
4.1.3 词间关系分析 | 第32页 |
4.2 语义规则 | 第32-34页 |
4.2.1 句型规则 | 第32-33页 |
4.2.2 句间语义规则 | 第33页 |
4.2.3 词间语义规则 | 第33-34页 |
4.3 基于语义规则的词频加权算法 | 第34-35页 |
4.3.1 TF_IDF权重 | 第34-35页 |
4.3.2 基于语义规则的词频加权算法 | 第35页 |
4.4 信息增益算法 | 第35-42页 |
4.5 本章小结 | 第42-43页 |
第5章 实验结果与分析 | 第43-50页 |
5.1 实验环境与数据集 | 第43-45页 |
5.1.1 实验环境 | 第43-44页 |
5.1.2 语料库 | 第44-45页 |
5.2 分类性能评估 | 第45-46页 |
5.3 实验结果分析 | 第46-49页 |
5.4 本章小结 | 第49-50页 |
第6章 总结与展望 | 第50-52页 |
6.1 总结 | 第50页 |
6.2 展望 | 第50-52页 |
参考文献 | 第52-56页 |
在读期间发表的学术论文及研究成果 | 第56-57页 |
致谢 | 第57页 |