2021 年 11月 8 日随笔档案 - KaneQi

2021年11月8日

摘要： 1、SparkStreaming概述 1、SparkStreaming是什么? SparkStreaming用于处理流式数据 2、SparkStreaming应用场景: 实时领域 3、DStream: DStream是SparkStreaming的数据抽象 DStream流动的是RDD,每个RDD代阅读全文

posted @ 2021-11-08 23:02 KaneQi 阅读(73) 评论(0) 推荐(0) 编辑

SparkSQL

摘要： 1、SparkSql概述 1、什么是SparkSql? SparkSql用于处理结构化数据,底层还是RDD 2、SparkSql的两个数据抽象: DataFrame、DataSet 1、什么是DataFrame DataFrame可以当做一个二维表格,有schema信息<有列名、列类型> DataF 阅读全文

posted @ 2021-11-08 22:53 KaneQi 阅读(107) 评论(0) 推荐(0) 编辑

∠