基于Hadoop的电商数据分析系统的设计与实现
| 摘要 | 第3-5页 |
| Abstract | 第5-6页 |
| 第1章 绪论 | 第10-17页 |
| 1.1 论文设计的背景及意义 | 第10-12页 |
| 1.2 国内外的研究应用现状 | 第12-15页 |
| 1.2.1 研究应用范围 | 第12-14页 |
| 1.2.2 国内外的应用现状 | 第14-15页 |
| 1.3 论文主要内容 | 第15-16页 |
| 1.4 论文组织结构 | 第16-17页 |
| 第2章 相关技术分析 | 第17-23页 |
| 2.1 HDFS分布式文件系统 | 第17-18页 |
| 2.2 MapReduce编程模型 | 第18-19页 |
| 2.2.1 MapReduce原理 | 第18-19页 |
| 2.2.2 MapReduce处理过程 | 第19页 |
| 2.3 YARN的原理 | 第19-20页 |
| 2.3.1 YARN基本架构 | 第19页 |
| 2.3.2 YARN基本组成结构 | 第19-20页 |
| 2.4 Hadoop生态圈组件 | 第20-22页 |
| 2.5 机器学习-Mahout | 第22页 |
| 2.6 本章小结 | 第22-23页 |
| 第3章 系统的需求分析与设计 | 第23-33页 |
| 3.1 需求分析 | 第23-25页 |
| 3.1.1 功能需求分析 | 第23-24页 |
| 3.1.2 非功能需求分析 | 第24-25页 |
| 3.1.3 系统业务流程分析 | 第25页 |
| 3.2 电商数据分析系统的设计 | 第25-32页 |
| 3.2.1 系统架构设计 | 第25-26页 |
| 3.2.2 功能模块设计 | 第26-27页 |
| 3.2.3 数据收集设计 | 第27-28页 |
| 3.2.4 数据处理设计 | 第28-29页 |
| 3.2.5 数据分析设计 | 第29页 |
| 3.2.6 数据库表结构设计 | 第29-32页 |
| 3.3 本章小结 | 第32-33页 |
| 第4章 电商分析系统的实现 | 第33-49页 |
| 4.1 系统开发环境 | 第33页 |
| 4.2 数据收集模块的实现 | 第33-37页 |
| 4.2.1 收集事件 | 第34-35页 |
| 4.2.2 Nginx和Flume的配置 | 第35-36页 |
| 4.2.3 爬虫框架及运行流程 | 第36-37页 |
| 4.3 数据分析模块的实现 | 第37-42页 |
| 4.3.1 数据清洗模块 | 第37-39页 |
| 4.3.2 用户基本信息分析 | 第39-42页 |
| 4.4 数据展示模块的实现 | 第42-43页 |
| 4.5 平台监控模块的实现 | 第43-45页 |
| 4.6 日志文件分析的实现 | 第45-48页 |
| 4.7 本章小结 | 第48-49页 |
| 第5章 商品评论数据分析 | 第49-62页 |
| 5.1 商品评论的数据分析挖掘目标 | 第49页 |
| 5.2 商品评论的数据分析流程 | 第49-50页 |
| 5.3 商品评论的数据采集与预处理 | 第50-51页 |
| 5.4 商品评论的数据分析与可视化 | 第51-56页 |
| 5.5 商品评论数据的情感分析 | 第56-60页 |
| 5.5.1 意见挖掘的层次和类型 | 第56-57页 |
| 5.5.2 评论数据的来源 | 第57页 |
| 5.5.3 情感分析方法 | 第57-59页 |
| 5.5.4 基于分词法和评分方法的情感分析 | 第59-60页 |
| 5.6 本章小结 | 第60-62页 |
| 第6章 用户推荐的分析与实现 | 第62-69页 |
| 6.1 推荐工具的研究与分析 | 第62-64页 |
| 6.2 混合推荐算法 | 第64-68页 |
| 6.2.1 改进的K-means聚类算法描述 | 第64-65页 |
| 6.2.2 协同过滤和聚类的混合合推荐算法 | 第65-68页 |
| 6.3 本章小结 | 第68-69页 |
| 第7章 系统测试 | 第69-75页 |
| 7.1 测试环境 | 第69页 |
| 7.2 功能测试 | 第69-74页 |
| 7.2.1 登录测试 | 第69-70页 |
| 7.2.2 数据采集功能测试 | 第70-71页 |
| 7.2.3 数据转存功能测试 | 第71-72页 |
| 7.2.4 用户推荐测试 | 第72-74页 |
| 7.3 本章小结 | 第74-75页 |
| 第8章 总结与展望 | 第75-77页 |
| 8.1 总结 | 第75-76页 |
| 8.2 展望 | 第76-77页 |
| 参考文献 | 第77-79页 |
| 附录一 | 第79-81页 |
| 附录二 | 第81-82页 |
| 致谢 | 第82-83页 |
