随笔分类 -  spark

该文章仅供自己在线查阅
Spark SQL
摘要：# Spark SQL ## 1.1Spark SQL简介 Spark SQL是一个用来处理结构化数据的Spark 组件。它可被视为一个分 布式的SQL查询引擎，并且提供了一个叫作DataFrame的可编程抽象数据模型。Spark SQL的前身是Shark,由于Shark需要依赖于Hive而制约了S 阅读全文
posted @ 2023-08-13 09:12 昵称已经被使用 阅读(65) 评论(0) 推荐(0)
Spark编程
摘要：# Spark编程 ![image-20200424092626485](https://img2023.cnblogs.com/blog/2004825/202308/2004825-20230813091225746-496339472.png) ![image-2020042409271958 阅读全文
posted @ 2023-08-13 09:12 昵称已经被使用 阅读(76) 评论(0) 推荐(0)
Spark概述
摘要：# Spark概述 ## 1.1认识Spark 背景：现有的计算框架有：批处理：MapReduce、Hive、Pig…，流式计算：Storm，交互式计算：Impala，Presto，但没有一种框架兼容以上所有的计算框架，spark应运而生 ### 1.1.1 Spark的发展 2009年由Berke 阅读全文
posted @ 2023-08-13 09:12 昵称已经被使用 阅读(124) 评论(0) 推荐(0)