摘要 | 第4-5页 |
ABSTRACT | 第5-6页 |
第一章 绪论 | 第9-12页 |
1.1 研究背景及意义 | 第9-10页 |
1.2 国内外研究现状 | 第10页 |
1.3 论文结构和内容 | 第10-12页 |
第二章 基于DPI大数据的分析平台设计与构建 | 第12-38页 |
2.1 基于DPI大数据分布式平台相关技术 | 第12-19页 |
2.1.1 网络爬虫 | 第14页 |
2.1.2 MapReduce | 第14-16页 |
2.1.3 HDFS | 第16-17页 |
2.1.4 Hbase | 第17页 |
2.1.5 Hive | 第17-18页 |
2.1.6 Django | 第18-19页 |
2.2 基于DPI大数据分析平台的架构设计 | 第19-20页 |
2.3 基于DPI大数据分析平台的功能设计 | 第20-27页 |
2.3.1 后台功能设计 | 第20-22页 |
2.3.2 前台功能设计 | 第22-27页 |
2.4 基于DPI大数据分析平台各个模块设计 | 第27-36页 |
2.4.1 数据层 | 第27-32页 |
2.4.2 应用层 | 第32-33页 |
2.4.3 展现层 | 第33-36页 |
2.5 本章小结 | 第36-38页 |
第三章 基于DPI大数据分析平台的网页自动分类 | 第38-52页 |
3.1 基于支持向量机的文本分类 | 第38-42页 |
3.1.1 文本分类的概念 | 第38-39页 |
3.1.2 文本分类算法 | 第39页 |
3.1.3 文本表示模型 | 第39-40页 |
3.1.4 特征向量的降维 | 第40页 |
3.1.5 支持向量机用于文本分类 | 第40-41页 |
3.1.6 中文分词 | 第41-42页 |
3.2 基于DPI大数据分析平台的中文网页自动分类 | 第42-51页 |
3.2.1 标注文档的获取 | 第42-45页 |
3.2.2 使用Ansj工具进行中文分词 | 第45-46页 |
3.2.3 词库的建立 | 第46-47页 |
3.2.4 TF-IDF进行特征降维 | 第47-48页 |
3.2.5 特征向量的计算和模型的训练 | 第48-50页 |
3.2.6 展现层的集成 | 第50-51页 |
3.3 本章小结 | 第51-52页 |
第四章 基于DPI大数据分析平台的移动用户画像 | 第52-62页 |
4.1 用户画像标签设计和获取 | 第53-56页 |
4.1.1 用户画像标签的设计 | 第53-54页 |
4.1.2 用户画像标签的获取 | 第54-56页 |
4.2 用户画像在数据分析平台上的构建 | 第56-57页 |
4.3 展现层的集成 | 第57-61页 |
4.4 本章小结 | 第61-62页 |
第五章 工作总结与展望 | 第62-65页 |
5.1 论文工作总结 | 第62-63页 |
5.2 问题和展望 | 第63-65页 |
参考文献 | 第65-68页 |
致谢 | 第68页 |