| 摘要 | 第4-6页 |
| ABSTRACT | 第6-7页 |
| 第一章 绪论 | 第11-13页 |
| 1.1 研究背景 | 第11页 |
| 1.2 研究意义 | 第11-12页 |
| 1.3 本文章节结构与主要内容 | 第12-13页 |
| 第二章 短信处理相关理论与技术 | 第13-18页 |
| 2.1 机器学习分类算法概述 | 第13-14页 |
| 2.1.1 朴素贝叶斯分类器 | 第13页 |
| 2.1.2 K-近邻算法 | 第13-14页 |
| 2.1.3 决策树 | 第14页 |
| 2.1.4 支持向量机 | 第14页 |
| 2.2 中文分词 | 第14-16页 |
| 2.2.1 基于字典的方法 | 第15页 |
| 2.2.2 基于统计的分词 | 第15页 |
| 2.2.3 基于语义的分词 | 第15-16页 |
| 2.3 新词发现与变体识别 | 第16页 |
| 2.3.1 基于规则的方法 | 第16页 |
| 2.3.2 基于统计的方法 | 第16页 |
| 2.4 本章小结 | 第16-18页 |
| 第三章 针对变体短信的分词方法研究 | 第18-33页 |
| 3.1 基于PMI和CROSS-SKIP-BI-GRAMS的统计分词模型 | 第18-22页 |
| 3.1.1 点互信息(Pointwise Mutual Information) | 第18-19页 |
| 3.1.2 cross-skip-bi-grams交叉跳跃二元结合度计算模型 | 第19-22页 |
| 3.2 最优切分 | 第22-23页 |
| 3.3 分词方案合并 | 第23-25页 |
| 3.4 增量训练与反馈训练 | 第25-26页 |
| 3.4.1 增量训练 | 第26页 |
| 3.4.2 反馈训练 | 第26页 |
| 3.5 分词预处理 | 第26-27页 |
| 3.6 分词方法实验结果及分析 | 第27-29页 |
| 3.6.1 实验数据 | 第27页 |
| 3.6.2 评价指标 | 第27-28页 |
| 3.6.3 实验过程 | 第28页 |
| 3.6.4 结果分析 | 第28-29页 |
| 3.7 基于分词的短信分类 | 第29-32页 |
| 3.7.1 不同分词算法在短信分类中效果对比实验 | 第30-31页 |
| 3.7.2 实验结果分析 | 第31-32页 |
| 3.8 本章小结 | 第32-33页 |
| 第四章 短信变体识别与提取方法研究 | 第33-49页 |
| 4.1 单词嵌入与语义向量空间 | 第33-34页 |
| 4.2 神经网络语言模型NNLM | 第34-40页 |
| 4.2.1 Word2vec工作原理 | 第37-40页 |
| 4.3 词变体识别与提取 | 第40-48页 |
| 4.3.1 基于词向量的变体识别 | 第40-41页 |
| 4.3.2 增量构建词空间 | 第41页 |
| 4.3.3 向量空间构建与相似距离实验 | 第41-43页 |
| 4.3.4 过滤提取变体词 | 第43页 |
| 4.3.5 实验效果展示 | 第43-48页 |
| 4.4 本章小结 | 第48-49页 |
| 第五章 短信分析系统设计 | 第49-59页 |
| 5.1 业务需求分析 | 第49-50页 |
| 5.2 海量数据分析平台的核心框架 | 第50-52页 |
| 5.2.1 整体架构说明 | 第50页 |
| 5.2.2 逻辑架构 | 第50-51页 |
| 5.2.3 进程与线程管理的基本思路 | 第51-52页 |
| 5.3 关键技术 | 第52-54页 |
| 5.3.1 Hadoop distributed file system | 第52页 |
| 5.3.2 Elasticsearch | 第52-54页 |
| 5.3.3 ES-Hadoop | 第54页 |
| 5.3.4 Deeplearning4j | 第54页 |
| 5.4 系统模块设计 | 第54-58页 |
| 5.4.1 短信存储与定时入库 | 第54-55页 |
| 5.4.2 统计分词模块 | 第55-56页 |
| 5.4.3 构建索引 | 第56页 |
| 5.4.4 构建向量空间 | 第56-57页 |
| 5.4.5 相似变体查询 | 第57-58页 |
| 5.5 本章小结 | 第58-59页 |
| 第六章 总结与展望 | 第59-62页 |
| 6.1 全文总结 | 第59-60页 |
| 6.2 下一步工作展望 | 第60-62页 |
| 参考文献 | 第62-66页 |
| 致谢 | 第66-67页 |
| 作者攻读学位期间发表的学术论文目录 | 第67页 |
