摘要：
1. hive 的三种join 1. reduceJoin 也叫 Common Join、Shuffle Join 2. MapJoin 3. Sort Merge Bucket Join(分桶表Join) 2. SMB(Sort Merge Bucket) Join 分桶表join 说明 : 大表 阅读全文
posted @ 2022-02-10 19:42
学而不思则罔！
阅读(2566)
评论(0)
推荐(0)
摘要：
1. key空值过多导致 任务异常(数据倾斜)处理方案 1. 空值过滤 说明 : 1. 当key的空值过多时,相同的key会被分配到同一个reduce中处理,导致此reduceTask内存不足,而任务失败 处理 : 在不影响业务的情况下将 key为null的数据处理掉 2. 空值转换 说明 : 大表 阅读全文
posted @ 2022-02-10 19:35
学而不思则罔！
阅读(526)
评论(0)
推荐(0)
摘要：
1.大小表join(MapJoin) 说明 : 当大表小表关联时,可以将小表读取到内存,在Map端进行数据关联 小表在左在右都会触发 Mapjoin2. 怎样判断大小表？ 大表 > set hive.mapjoin.smalltable.filesize 小表 <= set hive.mapjoin 阅读全文
posted @ 2022-02-10 19:25
学而不思则罔！
阅读(1613)
评论(0)
推荐(0)
摘要：
1. 本地模式 1. 什么是本地模式 hive 默认会将所有任务,提交到yarn上执行,由yarn负责整个job的调度与监控 当数据集非常小时(只有一个block,只存在一个datanode节点上),提交job的时间 将远大于 job运行的时间, 此时可以开启本地模式,将job在本地运行,不提交到y 阅读全文
posted @ 2022-02-10 12:32
学而不思则罔！
阅读(1578)
评论(0)
推荐(0)
摘要：
1. 语法explain [extended | dependency | authorization] query2. 从执行计划中 可以获取那些信息? 1. Job任务的DAG(有向无环图) 2. 操作算子 示例 : Fetch Operator Select Operator Map Redu 阅读全文
posted @ 2022-02-10 12:22
学而不思则罔！
阅读(221)
评论(0)
推荐(0)
浙公网安备 33010602011771号