| 摘要 | 第4-5页 |
| ABSTRACT | 第5-6页 |
| 目录 | 第7-10页 |
| 第一章 绪论 | 第10-14页 |
| 1.1 课题研究背景 | 第10页 |
| 1.2 研究现状 | 第10-12页 |
| 1.2.1 Hadoop研究现状 | 第10-11页 |
| 1.2.2 文本分类研究现状 | 第11-12页 |
| 1.3 本文的主要工作 | 第12-13页 |
| 1.4 论文的组织结构 | 第13-14页 |
| 第二章 Hadoop分布式框架概述 | 第14-23页 |
| 2.1 什么是Hadoop | 第14页 |
| 2.2 HDFS分布式文件系统 | 第14-17页 |
| 2.2.1 HDFS设计思想 | 第15页 |
| 2.2.2 名字节点和数据节点 | 第15-17页 |
| 2.2.3 块的概念 | 第17页 |
| 2.3 MapReduce原理 | 第17-22页 |
| 2.3.1 Jobtracker与Tasktracker | 第18页 |
| 2.3.2 MapReduce工作原理 | 第18-22页 |
| 2.4 本章小结 | 第22-23页 |
| 第三章 文本分类 | 第23-36页 |
| 3.1 向量空间模型 | 第23-24页 |
| 3.2 中文分词 | 第24-25页 |
| 3.3 特征选择 | 第25-27页 |
| 3.3.1 卡方检验 | 第26页 |
| 3.3.2 信息增益 | 第26-27页 |
| 3.4 特征权重计算 | 第27-28页 |
| 3.4.1 什么是特征权重 | 第27页 |
| 3.4.2 TF/IDF | 第27-28页 |
| 3.5 文本分类算法 | 第28-34页 |
| 3.5.1 朴素贝叶斯方法 | 第28-29页 |
| 3.5.2 支持向量机(SVM) | 第29-34页 |
| 3.6 文本分类的评价体系 | 第34-36页 |
| 3.6.1 准确率(Precision)与召回率(Recall) | 第35页 |
| 3.6.2 F值(F-measure) | 第35-36页 |
| 第四章 基于Hadoop平台的文本分类系统的设计 | 第36-56页 |
| 4.1 环境搭建与实验设计 | 第36-39页 |
| 4.1.1 系统环境配置 | 第36-38页 |
| 4.1.2 Hadoop集群配置 | 第38-39页 |
| 4.2 文本表示过程的并行化 | 第39-41页 |
| 4.2.1 预处理和中文分词并行化 | 第40页 |
| 4.2.2 特征选择并行化 | 第40-41页 |
| 4.2.3 TF/IDF计算并行化 | 第41页 |
| 4.3 基于朴素贝叶斯文本分类的并行化 | 第41-44页 |
| 4.3.1 MapReduce实现 | 第41-42页 |
| 4.3.2 算法描述 | 第42-44页 |
| 4.4 基于SVM文本分类的并行化 | 第44-56页 |
| 4.4.1 SVM并行化 | 第44-50页 |
| 4.4.3 MapReduce实现 | 第50页 |
| 4.4.4 基于Hadoop的SVM实现 | 第50-52页 |
| 4.4.5 算法描述 | 第52-56页 |
| 第五章 实验结果及展望 | 第56-60页 |
| 5.1 实验方案设计 | 第56-57页 |
| 5.1.1 实验环境介绍 | 第56页 |
| 5.1.2 实验步骤 | 第56-57页 |
| 5.2 Hadoop平台分布式SVM测试结果 | 第57-60页 |
| 第六章 总结和展望 | 第60-61页 |
| 6.1 总结 | 第60页 |
| 6.2 展望 | 第60-61页 |
| 参考文献 | 第61-63页 |
| 致谢 | 第63-64页 |
| 攻读学位期间发表的学术论文目录 | 第64页 |