随笔分类 -  SPARK

SparkSQL学习笔记
摘要:概述 冠状病毒来临,宅在家中给国家做贡献之际,写一篇随笔记录SparkSQL的学习笔记,目的有二,一是记录整理之前的知识作为备忘录,二是分享技术,大家共同进步,有问题也希望大家不吝赐教。总体而言,大数据主要包含三种操作:长时间运行的批量数据处理;交互式运行的数据查询;实时数据流处理。sparkSQL 阅读全文

posted @ 2020-02-05 15:35 伯安知心 阅读(554) 评论(0) 推荐(0)

spark学习笔记(一)
摘要:概括 我们公司使用spark已经有段时间了,现在我对我之前的学习知识进行整理,以便记录和大家共同学习,有一部分是网上摘抄,感谢网络共享大神。本文只是针对spark2,spark基本概念,简而言之就是:spark专门为大规模数据处理而设计的快速通用的计算引擎,是apache的一个开源项目。是一种跟Ha 阅读全文

posted @ 2019-11-09 17:01 伯安知心 阅读(1018) 评论(0) 推荐(0)

导航