摘要:
Hive表优化 小表、大表join 将key相对分散,并且数据量小的表放在join的左边,这样可以有效减少内存溢出错误发生的几率;再进一步,可以使用Group让小的维度表(1000条以下的记录条数)先进内存。在map端完成reduce。 实际测试发现:新版的hive已经对小表JOIN大表和大表JOI 阅读全文
posted @ 2022-06-20 13:11
爱上编程技术
阅读(19)
评论(0)
推荐(0)
摘要:
hive原理不多说了。 hive版本:hive-common-1.1.0-cdh5.16.2.jar Hive设置配置参数的方法 Hive提供三种可以改变环境变量的方法,分别是: (1)、修改${HIVE_HOME}/conf/hive-site.xml配置文件; (2)、命令行参数; (3)、在已 阅读全文
posted @ 2022-06-20 11:52
爱上编程技术
阅读(145)
评论(0)
推荐(0)

浙公网安备 33010602011771号