Spark技术生态

Spark的技术生态

Spark的技术生态包含了各种丰富的组件,而不同的组件提供了不同功能,以适应不同场景。

Spark core

spark core包含Spark的基本功能,定义了RDD的API以及以此为基础的其他动作。Spark的其他库都构建在RDD和Spark Core之上。

Spark SQL

提供通过HiveQL与Spark进行交互的API。每个数据库表被当做一个RDD,Spark SQL的查询会被转换为Spark操作。

Spark streaming

对实时数据流进行处理和控制。Spark Streaming允许程序能够像普通RDD一样处理实时数据。严格来说Spark streaming并不是实时的,而是准实时(跟Storm相比)。

MLlib

一个基于RDD的机器学习算法库,包含了可扩展的机器学习算法。

GraphX

控制图、并行图操作和计算的一组算法和工具的集合。

原文链接:https://blog.csdn.net/sword_csdn/article/details/103101878

posted @ 2022-02-01 20:41  靠谱杨  阅读(51)  评论(0)    收藏  举报