首页--工业技术论文--自动化技术、计算机技术论文--计算技术、计算机技术论文--计算机软件论文--程序设计、软件工程论文--程序设计论文

基于Spark框架的大规模数据挖掘技术研究

摘要第4-5页
Abstract第5页
第一章 绪论第8-16页
    1.1 研究背景和意义第8-10页
        1.1.1 研究背景第8-9页
        1.1.2 研究意义第9-10页
    1.2 国内外研究现状第10-13页
        1.2.1 频繁项集挖掘国内外研究现状第10-11页
        1.2.2 聚类分析国内外研究现状第11-12页
        1.2.3 问题提出第12-13页
    1.3 论文主要研究内容与结构第13-15页
        1.3.1 研究内容第13-14页
        1.3.2 研究方法第14页
        1.3.3 论文框架第14-15页
    1.4 本章小结第15-16页
第二章 相关理论与技术基础第16-33页
    2.1 数据挖掘概述及主要研究内容第16-17页
    2.2 关联规则基本理论第17-21页
        2.2.1 关联规则的数学描述第17-18页
        2.2.2 频繁项集挖掘算法FP-Growth第18-21页
    2.3 聚类分析基本理论第21-22页
        2.3.1 聚类分析的数学描述第21-22页
        2.3.2 聚类分析算法K-means第22页
    2.4 分布式计算技术第22-28页
        2.4.1 分布式计算框架Hadoop第23-24页
        2.4.2 分布式计算框架ApacheSpark第24-28页
    2.5 分布式集群的环境配置与构建方法第28-31页
        2.5.1 硬件要求及环境配置第28-29页
        2.5.2 分布式计算框架Hadoop的构建第29-30页
        2.5.3 分布式计算框架Spark的构建第30-31页
        2.5.4 集成开发环境SparkIDE的构建第31页
    2.6 本章小结第31-33页
第三章 基于Spark的并行FP-Growth算法改进第33-42页
    3.1 频繁项支持度计数及分组策略改进第33-34页
    3.2 基于Spark核心调度参数的性能调优第34-35页
    3.3 基于Spark框架的并行FP-Growth算法实现步骤第35-37页
    3.4 实验设计与结果分析第37-40页
        3.4.1 实验环境设置第37-38页
        3.4.2 实验数据及结果第38-40页
    3.5 本章小结第40-42页
第四章 基于Spark的并行K-means算法改进第42-50页
    4.1 合理的簇数K值选取方案第42页
    4.2 初始簇中心点选择策略改进第42-43页
    4.3 距离计算过程优化与改进第43-44页
    4.4 改进后算法的并行化实现第44-45页
    4.5 性能仿真实验第45-48页
        4.5.1 实验环境与实验数据第45页
        4.5.2 并行K-means改进算法性能仿真第45-48页
    4.6 本章小结第48-50页
第五章 基于分布式数据挖掘算法的临时候车点选址方法第50-57页
    5.1 海量出租车GPS数据预处理第50-52页
        5.1.1 经纬度数据提取第51页
        5.1.2 区域外数据筛选与过滤第51页
        5.1.3 空间轨迹数据坐标系统转换第51-52页
    5.2 海量空间轨迹数据的可视化分析结果第52-54页
        5.2.1 基于GIS技术的路网拓扑结构第53页
        5.2.2 基于GIS技术的交通热点分布分析第53-54页
    5.3 海量空间轨迹数据的实验结果分析第54-56页
    5.4 本章小结第56-57页
第六章 总结与展望第57-59页
    6.1 总结第57页
    6.2 展望第57-59页
参考文献第59-63页
图清单第63-64页
表清单第64-65页
攻读硕士学位期间科研情况第65-66页
致谢第66页

论文共66页,点击 下载论文
上一篇:“互联网+教育”背景下的小学教师专业发展策略研究
下一篇:慕课时代中学政治课教学改革问题研究