首页--工业技术论文--自动化技术、计算机技术论文--计算技术、计算机技术论文--计算机软件论文--程序设计、软件工程论文--软件工程论文

基于Spark on Yarn的Twitter热点话题探测系统的研究与实现

摘要第5-6页
Abstract第6页
第1章 绪论第10-16页
    1.1 研究背景第10页
    1.2 项目介绍第10-11页
    1.3 国内外研究现状第11-13页
    1.4 研究内容第13页
    1.5 本文组织结构第13-14页
    1.6 本章小结第14-16页
第2章 系统相关理论和技术第16-28页
    2.1 Spark平台概述第16-21页
        2.1.1 Spark平台简介第16页
        2.1.2 Spark运行方式第16-17页
        2.1.3 Spark特性第17-18页
        2.1.4 流处理架构概述第18-19页
        2.1.5 Spark Streaming特性第19-21页
    2.2 热点话题挖掘技术概述第21-26页
        2.2.1 传统文本数据挖掘算法第21-22页
        2.2.2 深度语言处理模型第22-26页
    2.3 本章小结第26-28页
第3章 TWEET报文实时热点话题挖掘算法设计第28-38页
    3.1 实时数据挖掘算法概述第28-29页
    3.2 FP-Growth算法第29-31页
    3.3 SFP-Growth算法第31-37页
    3.4 本章小结第37-38页
第4章 系统需求分析与总体设计第38-48页
    4.1 系统需求分析第38-39页
        4.1.1 功能性需求分析第38-39页
        4.1.2 性能需求分析第39页
    4.2 系统总体设计第39-41页
        4.2.1 系统集群设计第40页
        4.2.2 系统逻辑架构设计第40-41页
    4.3 数据接收层第41-45页
        4.3.1 数据来源限制第41-42页
        4.3.2 数据格式第42-43页
        4.3.3 数据接收流程第43-45页
    4.4 数据处理层第45-47页
        4.4.1 实时数据处理流程第45-46页
        4.4.2 深度数据挖掘处理流程第46-47页
    4.5 话题展示模块第47页
    4.6 本章小结第47-48页
第5章 系统详细设计与实现第48-66页
    5.1 系统开发工具和环境第48页
    5.2 集群的搭建与实现第48-49页
    5.3 数据接收模块的实现第49-52页
    5.4 实时热点话题探测模块的实现第52-56页
    5.5 Word2vec数据挖掘模块的实现第56-61页
    5.6 热点话题展示模块的实现第61-64页
    5.7 本章小结第64-66页
第6章 系统测试第66-74页
    6.1 系统运行结果第66-68页
    6.2 系统测试第68-72页
        6.2.1 SFP-Growth并行化测试第69页
        6.2.2 SFP-Growth算法准确性及即时性测试第69-71页
        6.2.3 Word2vec算法测试第71-72页
    6.3 本章小结第72-74页
第7章 总结与展望第74-76页
参考文献第76-80页
致谢第80页

论文共80页,点击 下载论文
上一篇:基于离差平方和法的P2P恶意共谋节点识别算法研究
下一篇:社会稳定指数评价信息系统的设计与实现