基于机器学习的不良短文本识别研究
摘要 | 第3-4页 |
abstract | 第4-5页 |
第1章 引言 | 第9-14页 |
1.1 立项依据 | 第9-10页 |
1.2 国内外研究现状 | 第10-12页 |
1.3 主要的研究工作 | 第12-13页 |
1.4 本文的组织结构 | 第13-14页 |
第2章 文本分类相关理论与技术 | 第14-27页 |
2.1 文本预处理 | 第14-16页 |
2.1.1 文本去噪 | 第14页 |
2.1.2 文本分词 | 第14-15页 |
2.1.3 去停用词 | 第15-16页 |
2.2 文本表示方法 | 第16-18页 |
2.2.1 向量空间模型 | 第16-17页 |
2.2.2 概率模型 | 第17页 |
2.2.3 主题模型 | 第17-18页 |
2.2.4 基于词嵌入的文本表示 | 第18页 |
2.3 特征选择 | 第18-21页 |
2.3.1 文档频率 | 第19页 |
2.3.2 TF-IDF | 第19页 |
2.3.3 信息增益 | 第19-20页 |
2.3.4 卡方统计量 | 第20-21页 |
2.3.5 互信息 | 第21页 |
2.3.6 期望交叉熵 | 第21页 |
2.4 分类方法 | 第21-25页 |
2.4.1 朴素贝叶斯 | 第22页 |
2.4.2 决策树 | 第22-23页 |
2.4.3 支撑向量机 | 第23-24页 |
2.4.4 k近邻 | 第24页 |
2.4.5 随机森林 | 第24-25页 |
2.5 文本分类评估 | 第25-26页 |
2.6 总结 | 第26-27页 |
第3章 短文本预处理以及多特征提取 | 第27-41页 |
3.1 不良短文本的特点 | 第27-28页 |
3.2 预处理 | 第28-32页 |
3.2.1 文本去噪 | 第28-29页 |
3.2.2 繁体字转简体字 | 第29-30页 |
3.2.3 同类别信息归一化 | 第30页 |
3.2.4 去除停用词 | 第30-31页 |
3.2.5 文本预处理流程 | 第31-32页 |
3.3 文本多特征提取 | 第32-40页 |
3.3.1 词特征 | 第32-35页 |
3.3.2 文本风格特征 | 第35-38页 |
3.3.3 语义特征 | 第38-40页 |
3.4 总结 | 第40-41页 |
第4章 多特征融合的文本表示与不良短文本识别过程 | 第41-48页 |
4.1 特征融合与文本表示 | 第41-42页 |
4.2 各维度特征权重赋值 | 第42-43页 |
4.2.1 特征类别 | 第42页 |
4.2.2 表面特征权重 | 第42-43页 |
4.2.3 语义特征权重 | 第43页 |
4.3 特征融合 | 第43-44页 |
4.4 分类器的选择 | 第44-46页 |
4.5 基于机器学习的不良短文本识别过程 | 第46-47页 |
4.5.1 不良短文本识别框架 | 第46页 |
4.5.2 不良短文本识别过程 | 第46-47页 |
4.6 总结 | 第47-48页 |
第5章 实验以及结果分析 | 第48-53页 |
5.1 数据集 | 第48-49页 |
5.2 实验以及结果分析 | 第49-52页 |
5.3 本章小结 | 第52-53页 |
第6章 总结以及展望 | 第53-55页 |
6.1 总结 | 第53-54页 |
6.2 展望 | 第54-55页 |
参考文献 | 第55-58页 |
攻读学位期间的研究成果 | 第58-59页 |
致谢 | 第59页 |