06 2022 档案

Hive explain执行计划详解
摘要：简介：HIVE提供了EXPLAIN命令来展示一个查询的执行计划,这个执行计划对于我们了解底层原理，hive 调优，排查数据倾斜等很有帮助 一、EXPLAIN 参数介绍 语法 : EXPLAIN [EXTENDED|CBO|AST|DEPENDENCY|AUTHORIZATION|LOCKS|VECT 阅读全文
posted @ 2022-06-28 15:51 Robots2 阅读(928) 评论(0) 推荐(0)
Hive优化
摘要：一、join优化 1. 使用相同的连接键当对3个或者更多个表进行join连接时，如果每个on子句都使用相同的连接键的话，那么只会产生一个MapReduce job。 2. 尽量尽早地过滤数据减少每个阶段的数据量,对于分区表要加分区，同时只选择需要使用到的字段。 3. 尽量原子化操作尽量避免一个SQL 阅读全文
posted @ 2022-06-14 16:21 Robots2 阅读(972) 评论(0) 推荐(0)