摘要 | 第7-8页 |
Abstract | 第8-9页 |
第1章 绪论 | 第12-21页 |
1.1 课题的研究背景及意义 | 第12-15页 |
1.1.1 课题研究背景 | 第12-13页 |
1.1.2 校园网用户行为研究的重要性 | 第13-14页 |
1.1.3 课题研究意义 | 第14-15页 |
1.2 国内外研究现状 | 第15-18页 |
1.2.1 分布式技术研究现状 | 第16页 |
1.2.2 网络用户数据挖掘和行为分析现状 | 第16-18页 |
1.2.3 聚类分析研究现状 | 第18页 |
1.3 本文研究内容及其结构 | 第18-21页 |
1.3.1 本文研究的主要内容 | 第18-19页 |
1.3.2 本文结构安排 | 第19-21页 |
第2章 相关理论知识 | 第21-33页 |
2.1 Hadoop生态系统 | 第21-31页 |
2.1.1 Hadoop集群概述 | 第21页 |
2.1.2 Hadoop生态系统组成 | 第21-22页 |
2.1.3 HDFS分布式文件系统 | 第22-24页 |
2.1.4 Map Reduce分布式计算框架 | 第24-25页 |
2.1.5 Hive分布式数据仓库系统 | 第25-30页 |
2.1.6 Sqoop工具 | 第30-31页 |
2.2 网络用户行为分析的相关理论 | 第31-32页 |
2.2.1 网络用户行为的概念和分类 | 第31页 |
2.2.2 网络用户行为分析方法 | 第31-32页 |
2.3 聚类分析理论 | 第32-33页 |
第3章 用户行为数据处理方法研究 | 第33-57页 |
3.1 用户行为分析过程设计 | 第33-35页 |
3.1.1 分析过程设计思路 | 第34页 |
3.1.2 用户行为分析流程 | 第34-35页 |
3.2 数据预处理 | 第35-40页 |
3.2.1 数据集结构和特点 | 第36-37页 |
3.2.2 数据的导入/导出与数据存储 | 第37页 |
3.2.3 数据清洗 | 第37-38页 |
3.2.4 数据集成和转换 | 第38-40页 |
3.3 用户行为分析方法 | 第40-57页 |
3.3.1 用户分类 | 第40-41页 |
3.3.2 不同时段在线人数分析 | 第41-44页 |
3.3.3 在线时间长度分析 | 第44-47页 |
3.3.4 使用网络流量分析 | 第47-50页 |
3.3.5 学生异常网络行为统计分析 | 第50-54页 |
3.3.6 用户访问目的地址分析 | 第54-57页 |
第4章 用户行为数据聚类研究 | 第57-65页 |
4.1 K-Means聚类算法应用于行为数据分析 | 第57-59页 |
4.1.1 算法的基本思想 | 第57页 |
4.1.2 算法的实现流程 | 第57-58页 |
4.1.3 算法的时间复杂度 | 第58页 |
4.1.4 K-means算法应用于行为数据分析 | 第58-59页 |
4.2 K-means聚类算法的Map Reduce并行化实现 | 第59-62页 |
4.2.1 K-Means算法的分布式实现 | 第59-60页 |
4.2.2 K-Means聚类算法Map Reduce化的思路 | 第60-61页 |
4.2.3 用Map Reduce实现K-Means算法 | 第61-62页 |
4.3 用户行为数据聚类研究 | 第62-65页 |
第5章 实验结果分析 | 第65-69页 |
5.1 实验平台部署 | 第65-67页 |
5.1.1 硬件配置 | 第65页 |
5.1.2 软件配置 | 第65页 |
5.1.3 实验环境搭建 | 第65-67页 |
5.2 实验结果分析 | 第67-69页 |
第6章 总结与展望 | 第69-71页 |
6.1 本文研究工作总结 | 第69-70页 |
6.2 下一步的工作方向 | 第70-71页 |
参考文献 | 第71-75页 |
致谢 | 第75页 |