摘要 | 第5-7页 |
ABSTRACT | 第7-8页 |
1 绪论 | 第11-20页 |
1.1 课题背景 | 第12-13页 |
1.2 不良短消息的产生机理 | 第13-14页 |
1.3 国内外的研究现状 | 第14-17页 |
1.3.1 国内外不良短消息防范现状 | 第14-16页 |
1.3.2 国内外文本分类和信息过滤技术研究现状 | 第16-17页 |
1.4 本文的主要研究工作及创新点 | 第17-18页 |
1.4.1 主要的研究工作 | 第17-18页 |
1.4.2 本文工作的主要创新点 | 第18页 |
1.5 论文组织结构 | 第18-20页 |
2 过滤系统的相关理论与技术实现 | 第20-28页 |
2.1 不良短消息过滤的基本概念 | 第20-21页 |
2.1.1 不良短消息过滤的定义 | 第20页 |
2.1.2 短消息的相关特点 | 第20-21页 |
2.1.3 不良短消息过滤的一般方法 | 第21页 |
2.2 短消息文本特征的表示方法 | 第21-24页 |
2.2.1 短消息预处理 | 第22页 |
2.2.2 中文分词 | 第22-24页 |
2.3 中文分词的实现 | 第24-26页 |
2.4 开发平台的选择 | 第26-27页 |
2.5 本章小结 | 第27-28页 |
3 特征选取方法的比较与TFIDF 特征选取算法的实现 | 第28-34页 |
3.1 特征选取算法 | 第28-30页 |
3.1.1 TFIDF 法 | 第28-29页 |
3.1.2 信息增益值法 | 第29页 |
3.1.3 期望交叉熵 | 第29-30页 |
3.1.4 相关信息量 | 第30页 |
3.1.5 文本证据权 | 第30页 |
3.2 特征选取算法的比较 | 第30-31页 |
3.3 本文采用的特征选取算法 | 第31-33页 |
3.4 本章小结 | 第33-34页 |
4 不良短消息过滤模块(SMS-B-D)设计与实现 | 第34-43页 |
4.1 文本分类的方法 | 第34-37页 |
4.1.1 决策树 | 第34页 |
4.1.2 K 近邻方法 | 第34-36页 |
4.1.3 支持向量机 | 第36页 |
4.1.4 贝叶斯方法 | 第36-37页 |
4.2 分类算法的比较 | 第37-38页 |
4.3 本文提出的文本分类算法 | 第38-41页 |
4.3.1 多变量贝努利事件模型 | 第38-39页 |
4.3.2 多项式事件模型 | 第39-40页 |
4.3.3 基于最小风险的贝叶斯决策 | 第40-41页 |
4.4 SMS-B-D 过滤模块的实现 | 第41-42页 |
4.5 本章小结 | 第42-43页 |
5 SMS-B-D 模块在 SMS-119 系统中的应用 | 第43-58页 |
5.1 SMS-119 系统总体框架 | 第43-47页 |
5.1.1 SMS-119 系统的体系架构 | 第43-45页 |
5.1.2 SMS-119 系统的系统框架 | 第45-47页 |
5.1.3 SMS-119 系统数据流程 | 第47页 |
5.2 SMS-119 系统的主要功能模块 | 第47-55页 |
5.2.1 SMS-119 系统过滤及挖掘功能 | 第48页 |
5.2.2 SMS-119 系统信息调度功能 | 第48-49页 |
5.2.3 SMS-119 系统客户端功能 | 第49-55页 |
5.3 SMS-119 系统的应用技术及系统特点 | 第55-57页 |
5.3.1 数据仓库及数据分区存储技术 | 第55页 |
5.3.2 C/S 与 B/S 结合技术 | 第55-56页 |
5.3.3 Oracle 分布式数据库技术 | 第56-57页 |
5.4 本章小结 | 第57-58页 |
6 实验结果与分析 | 第58-61页 |
6.1 质量评价体系 | 第58-59页 |
6.1.1 查准率 | 第58页 |
6.1.2 查全率 | 第58页 |
6.1.3 F 测试值 | 第58-59页 |
6.1.4 评价指标的实际意义 | 第59页 |
6.2 实验结果 | 第59-60页 |
6.2.1 测试环境 | 第59页 |
6.2.2 测试方法 | 第59-60页 |
6.2.3 测试过程 | 第60页 |
6.2.4 实验分析 | 第60页 |
6.3 本章小结 | 第60-61页 |
7 总结与展望 | 第61-63页 |
参考文献 | 第63-67页 |
致谢 | 第67-68页 |
攻读学位期间发表的学术论文目录 | 第68-69页 |
上海交通大学学位论文答辩决议书 | 第69页 |