面试常见题

Spark

  • Spark定义:Spark是一个基于内存的分布式计算引擎,用于代替MapRedurce阶段的计算。
  • RDD五大特性
    • RDD是有很多分区构成的,有多少个分区就对应多少个task
    • 算子实际上是作用在每一个分区上的
    • RDD之间存在依赖关系,宽依赖和窄依赖,用于划分stage
    • Spark默认是hash分区,bykey类算子只能作用于kv格式的RDD上
    • spark为task提供了最佳的计算位置,移动计算而不移动数据
  • Spark常用算子
    • transformation算子:map、filter、flatMap、reduceByKey ...这些算子反悔的是一个新的RDD 但是不会立刻计算
    • action算子:count、collect、take、saveAsTextFile.....返回结果或者写出数据,触发真正的计算
  • Spark优化
    • 代码优化
      • 避免创建相同的RDD
      • 尽量复用同一个RDD
      • 在迭代中对常用的RDD进行持久化
      • 使用高性能算子
      • 广播大变量
      • 大表join小表的时候将小表进行广播 避免shuffle join的过程
    • 参数优化
      • executor-num/core/memory 
      • dirver-memory
  • Spark数据倾斜
    • 数据倾斜的现象
      • 整个stage 99%的task都是3分钟执行完成,只有1%的task执行了3个小时,200个task 199个都是执行3分钟 处理了十几万条数据,只有1个task执行了一个小时 抗了8000万条数据,一直卡这
      • 查看SparkUI的stage页面task的两个指标  Shuffle Read/Records 最大值和中位数,Duration task耗时分布
        • 如果最大值和中位数相差几十倍甚至上百倍,毋庸置疑就是数据倾斜
      • 总结一句话:Key分布极度不均匀,热点Key抗了绝大部分压力,使得数据难以并行消化
    • 数据倾斜产生的原因
      • 1、key分布不均匀,热点key占据了一大半的数据量,导致数据计算时通过Hash分区,绝大部分Key被分布到了同一个task中
      • 2、原始数据中存在默认值或者null
      • 3、分组聚合时纬度选择的不好,如果按照高基数数据容易被打散,但是按照低基数数据往往不容易分开
    • 数据倾斜的解决办法
      • 1、加盐打散(最常用)三步走:1)给热点key拼一个随机前缀,2)局部聚合 对加盐的数据单独计算 3)去盐再聚合,按照原始key做全局聚合
        • 注意:这种方法有局限性,是适用于聚合类场景 group by reduceByKey这类操作 计数 求和 如果要求中位数就不适用
      • 2、广播小表:如果是大表join小表 可以把小表广播到每个excutor中,这样在map端直接join省去了shffule的过程,
        • 注意:必须要明确小表的边界 广播的阀值是10MB 小表过大 广播的时候会挤爆内存 
      • 3、大表join大表:热点分离+两侧同时加盐
        • 1)热点key单独处理,把两张表的热点key筛选出来单独做一次join处理
        • 2)剩余的非热点key分布本身就是均匀的 走正常的shuffle过程
        • 3)将两步的处理结果union到一起
        • 注意:join倾斜时两张表都要加盐,如果大表的key拆成N份的话,另一侧对应的那几行数据也必须分成N份并且加上相同的盐,这样在关联的时候才能一一对应
          • 如果只给一侧加盐另一侧不加的话 join的时候虽然不报错 但是会造成数据缺失,最终结果对不上,因为少关联了一部分行
      • 4、开启AQE:Spark3.x版本以上引入了AQE机制 在shuffle过程后会自动吧较大的分区拆解成若干个字分区去并行处理 相当于手动加盐的操作
        • 注意:何种方法只能发生在有shuffle过程的场景中,而且他的优化只是分区级别的,如果热点key本身就是一个不能拆分的数据,还是需要手动加盐
      • 5、在不影响最终业务的情况下过滤null值,或替换成默认值;使用高效率算子(reduceByKey、aggregateByKey)这种在Map端做预聚合 降低shuffle阶段的网络IO;调整Spark SQL并行度的默认值 spark.sql.shuffle.partitions=200 把大分区切开
  • Spark Shuffle
    • HashShuffle
    • SortShuffle
    • ByPassShuffle
  • 广播变量和类加器(共享变量)
    • BroadCast
      • 在某些迭代场景下函数内部需要用到函数外部的变量,可以把变量广播到executor中 这样就变成了从每个task中存一份变成了每个executor中存一份,;最常用的场景就是大表join小表时将小表广播出去 这样就把shuffle join 变成了Map join
    • Accumulate
      • 适合做计数和调试;在executor端写到本地 driver端做汇总
      • 注意:如果重启task任务 这个时候累加器会多加一次,所以别把他放在转换算子中 
  • Spark缓存策略
    • Cache
    • Persist(StorgeLevel.MEMORY_ONLY)
  • Spark任务提交流程和资源调度流程(cluster模式为准)
    • 1)客户端提交任务之后 yarn会向resource manager申请一个容器 用于启动application master 这就是driver端
    • 2)driver端执行你程序的main方法 生成spark context/spark session
    • 3)driver端会向resource manager申请executor所需的资源
    • 4)拉起executor RM会向各个NM通知启动executor executor会反过来向driver端注册
    • 5)driver端会拿到你的代码 把各个算子串成DAG 由DAGSchdural切分stage
    • 6)TaskSchdural会把每个task分发到每个executor上
    • 7)executor中用线程来跑task 将结果返回给driver端
    • 提交任务->起Driver->申请资源->起Excutor->划分stage->派发task->跑完汇总
  • Spark血缘
    • DAG有向无环图
    • Stage
    • 宽窄依赖

 

Hadoop

  • 定义:
  • HDFS
  • MapReduce
  • Yarn
  • 编程模型
  • 数据倾斜

Hive

  • 定义
  • hive架构
  • hive的执行流程
  • hive与数据库的区别
  • 内部表与外部表
  • 4个by的区别
  • 系统函数与自定义函数
  • hive的优化
  • hive解决数据倾斜

 

数据仓库

 

posted @ 2026-11-17 19:17  先生小凯  阅读(3)  评论(0)    收藏  举报