yetang307

  博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理
1. DAG是什么有什么用?
DAG有向无环图, 用以描述任务执行流程,主要作用是协助DAG调度器构建Task分配用以做任务管理
2. 内存迭代\阶段划分?
基于DAG的宽窄依赖划分阶段,阶段内部都是窄依赖可以构建内存迭代的管道
3. DAG调度器是?
构建Task分配用以做任务管理
1. SparkSQL用于处理大规模结构化数据的计算引擎
2. SparkSQL在企业中广泛使用,并性能极好,学习它
不管是工作还是就业都有很大帮助
3. SparkSQL:使用简单、API统一、兼容HIVE、支持
标准化JDBC和ODBC连接
4. SparkSQL 2014年正式发布,当下使用最多的2.0版
Spark发布于2016年,当下使用的最新3.0办发布于
2019年
posted on 2024-01-25 19:41  椰糖  阅读(2)  评论(0编辑  收藏  举报