Spark
- Spark定义:Spark是一个基于内存的分布式计算引擎,用于代替MapRedurce阶段的计算。
- RDD五大特性
- RDD是有很多分区构成的,有多少个分区就对应多少个task
- 算子实际上是作用在每一个分区上的
- RDD之间存在依赖关系,宽依赖和窄依赖,用于划分stage
- Spark默认是hash分区,bykey类算子只能作用于kv格式的RDD上
- spark为task提供了最佳的计算位置,移动计算而不移动数据
- Spark常用算子
- transformation算子:map、filter、flatMap、reduceByKey ...这些算子反悔的是一个新的RDD 但是不会立刻计算
- action算子:count、collect、take、saveAsTextFile.....返回结果或者写出数据,触发真正的计算
- Spark优化
- 代码优化
- 避免创建相同的RDD
- 尽量复用同一个RDD
- 在迭代中对常用的RDD进行持久化
- 使用高性能算子
- 广播大变量
- 大表join小表的时候将小表进行广播 避免shuffle join的过程
- 参数优化
- executor-num/core/memory
- dirver-memory
- Spark数据倾斜
- 数据倾斜的现象
- 整个stage 99%的task都是3分钟执行完成,只有1%的task执行了3个小时,200个task 199个都是执行3分钟 处理了十几万条数据,只有1个task执行了一个小时 抗了8000万条数据,一直卡这
- 查看SparkUI的stage页面task的两个指标 Shuffle Read/Records 最大值和中位数,Duration task耗时分布
- 如果最大值和中位数相差几十倍甚至上百倍,毋庸置疑就是数据倾斜
- 总结一句话:Key分布极度不均匀,热点Key抗了绝大部分压力,使得数据难以并行消化
- 数据倾斜产生的原因
- 1、key分布不均匀,热点key占据了一大半的数据量,导致数据计算时通过Hash分区,绝大部分Key被分布到了同一个task中
- 2、原始数据中存在默认值或者null
- 3、分组聚合时纬度选择的不好,如果按照高基数数据容易被打散,但是按照低基数数据往往不容易分开
- 数据倾斜的解决办法
- 1、加盐打散(最常用)三步走:1)给热点key拼一个随机前缀,2)局部聚合 对加盐的数据单独计算 3)去盐再聚合,按照原始key做全局聚合
- 注意:这种方法有局限性,是适用于聚合类场景 group by reduceByKey这类操作 计数 求和 如果要求中位数就不适用
- 2、广播小表:如果是大表join小表 可以把小表广播到每个excutor中,这样在map端直接join省去了shffule的过程,
- 注意:必须要明确小表的边界 广播的阀值是10MB 小表过大 广播的时候会挤爆内存
- 3、大表join大表:热点分离+两侧同时加盐
- 1)热点key单独处理,把两张表的热点key筛选出来单独做一次join处理
- 2)剩余的非热点key分布本身就是均匀的 走正常的shuffle过程
- 3)将两步的处理结果union到一起
- 注意:join倾斜时两张表都要加盐,如果大表的key拆成N份的话,另一侧对应的那几行数据也必须分成N份并且加上相同的盐,这样在关联的时候才能一一对应
- 如果只给一侧加盐另一侧不加的话 join的时候虽然不报错 但是会造成数据缺失,最终结果对不上,因为少关联了一部分行
- 4、开启AQE:Spark3.x版本以上引入了AQE机制 在shuffle过程后会自动吧较大的分区拆解成若干个字分区去并行处理 相当于手动加盐的操作
- 注意:何种方法只能发生在有shuffle过程的场景中,而且他的优化只是分区级别的,如果热点key本身就是一个不能拆分的数据,还是需要手动加盐
- 5、在不影响最终业务的情况下过滤null值,或替换成默认值;使用高效率算子(reduceByKey、aggregateByKey)这种在Map端做预聚合 降低shuffle阶段的网络IO;调整Spark SQL并行度的默认值 spark.sql.shuffle.partitions=200 把大分区切开
- Spark Shuffle
- HashShuffle
- SortShuffle
- ByPassShuffle
- 广播变量和类加器(共享变量)
- BroadCast
- 在某些迭代场景下函数内部需要用到函数外部的变量,可以把变量广播到executor中 这样就变成了从每个task中存一份变成了每个executor中存一份,;最常用的场景就是大表join小表时将小表广播出去 这样就把shuffle join 变成了Map join
- Accumulate
- 适合做计数和调试;在executor端写到本地 driver端做汇总
- 注意:如果重启task任务 这个时候累加器会多加一次,所以别把他放在转换算子中
- Spark缓存策略
- Cache
- Persist(StorgeLevel.MEMORY_ONLY)
- Spark任务提交流程和资源调度流程(cluster模式为准)
- 1)客户端提交任务之后 yarn会向resource manager申请一个容器 用于启动application master 这就是driver端
- 2)driver端执行你程序的main方法 生成spark context/spark session
- 3)driver端会向resource manager申请executor所需的资源
- 4)拉起executor RM会向各个NM通知启动executor executor会反过来向driver端注册
- 5)driver端会拿到你的代码 把各个算子串成DAG 由DAGSchdural切分stage
- 6)TaskSchdural会把每个task分发到每个executor上
- 7)executor中用线程来跑task 将结果返回给driver端
- 提交任务->起Driver->申请资源->起Excutor->划分stage->派发task->跑完汇总
- Spark血缘
Hadoop
- 定义:
- HDFS
- MapReduce
- Yarn
- 编程模型
- 数据倾斜
Hive
- 定义
- hive架构
- hive的执行流程
- hive与数据库的区别
- 内部表与外部表
- 4个by的区别
- 系统函数与自定义函数
- hive的优化
- hive解决数据倾斜
数据仓库
posted @
2026-11-17 19:17
先生小凯
阅读(
3)
评论()
收藏
举报