| 摘要 | 第4-5页 |
| ABSTRACT | 第5-6页 |
| 第一章 绪论 | 第9-15页 |
| 1.1 研究背景 | 第9-11页 |
| 1.1.1 Web数据研究背景 | 第9页 |
| 1.1.2 用户网络行为研究背景 | 第9-10页 |
| 1.1.3 大数据技术研究背景 | 第10-11页 |
| 1.2 研究意义 | 第11页 |
| 1.3 本文主要研究内容 | 第11-12页 |
| 1.3.1 电商行业的用户网络行为分析 | 第12页 |
| 1.3.2 汽车行业的用户网络行为分析 | 第12页 |
| 1.4 研究目标 | 第12-13页 |
| 1.5 本文结构安排 | 第13-14页 |
| 1.6 本章总结 | 第14-15页 |
| 第二章 web数据集介绍和关键技术概述 | 第15-23页 |
| 2.1 数据集总体概述 | 第15页 |
| 2.2 原始DPI数据 | 第15-17页 |
| 2.3 网络爬虫抓取的web数据 | 第17-18页 |
| 2.4 本文主要技术 | 第18-21页 |
| 2.4.1 基于MapReduce的统计分析 | 第18-20页 |
| 2.4.2 基于BulkLoad数据批量导入HBase表的方法优化数据入库效率 | 第20-21页 |
| 2.4.3 定制化HBase查询接口 | 第21页 |
| 2.4.4 利用RegexBuddy对正则表达式进行优化和效率分析 | 第21页 |
| 2.4.5 利用数据的Hash存储特性提高数据的分布式计算效率 | 第21页 |
| 2.4.6 使用序列模式挖掘算法分析汽车网站用户的网络行为 | 第21页 |
| 2.4.7 基于MapReduce和RESTul API对汽车网站用户行为进行可视化分析 | 第21页 |
| 2.5 本章总结 | 第21-23页 |
| 第三章 电商行业的用户网络行为分析 | 第23-41页 |
| 3.1 电商用户数据处理和数据分析的总体流程 | 第23-24页 |
| 3.2 web数据的获取、预处理和统计分析 | 第24-26页 |
| 3.2.1 爬虫数据的解析 | 第24-25页 |
| 3.2.2 DPI数据的解析和统计 | 第25-26页 |
| 3.3 DPI数据和爬虫数据的整合 | 第26-27页 |
| 3.4 电商用户行为数据入库 | 第27-35页 |
| 3.4.1 不同电商用户识别 | 第27页 |
| 3.4.2 关于HBase | 第27-29页 |
| 3.4.3 京东、天猫、国美、苏宁等用户数据分析过程和HBase表的结构设计 | 第29-34页 |
| 3.4.4 利用BulkLoad方法将数据批量导入HBase表 | 第34-35页 |
| 3.4.5 数据导入HBase表后的结果示意图 | 第35页 |
| 3.5 基于HBase查询接口的数据可视化分析 | 第35-39页 |
| 3.5.1 接口基本功能 | 第36-37页 |
| 3.5.2 查询结果示例 | 第37-39页 |
| 3.6 本章总结 | 第39-41页 |
| 第四章 汽车行业的用户网络行为分析 | 第41-59页 |
| 4.1 汽车行业研究背景 | 第41页 |
| 4.2 汽车用户数据的预处理 | 第41-48页 |
| 4.2.1 正则表达式提取过程 | 第42-43页 |
| 4.2.2 利用RegexBuddy对正则表达式进行调试和优化 | 第43-46页 |
| 4.2.3 利用数据结构中的Hash存储特性提高汽车用户数据提取效率 | 第46-48页 |
| 4.3 基于序列模式挖掘算法AprioriAll的汽车用户网络访问模式挖掘 | 第48-54页 |
| 4.3.1 分析方法实现框图 | 第48-49页 |
| 4.3.2 序列模式挖掘算法介绍 | 第49-50页 |
| 4.3.3 获取AprioriAll算法输入数据 | 第50-52页 |
| 4.3.4 算法结果 | 第52-53页 |
| 4.3.5 算法结果验证 | 第53-54页 |
| 4.4 基于MapReduce的统计分析和RESTful API可视化 | 第54-57页 |
| 4.4.1 分析过程 | 第54-55页 |
| 4.4.2 MapReduce基本统计分析结果 | 第55-56页 |
| 4.4.3 RESTul API可视化分析结果 | 第56-57页 |
| 4.5 本章总结 | 第57-59页 |
| 第五章 全文总结与展望 | 第59-61页 |
| 5.1 本文工作总结 | 第59-60页 |
| 5.2 相关工作的未来展望 | 第60-61页 |
| 参考文献 | 第61-65页 |
| 致谢 | 第65-67页 |
| 攻读学位期间发表的学术论文目录 | 第67页 |
