摘要: Hive表优化 小表、大表join 将key相对分散,并且数据量小的表放在join的左边,这样可以有效减少内存溢出错误发生的几率;再进一步,可以使用Group让小的维度表(1000条以下的记录条数)先进内存。在map端完成reduce。 实际测试发现:新版的hive已经对小表JOIN大表和大表JOI 阅读全文
posted @ 2022-06-20 13:11 爱上编程技术 阅读(19) 评论(0) 推荐(0)
摘要: hive原理不多说了。 hive版本:hive-common-1.1.0-cdh5.16.2.jar Hive设置配置参数的方法 Hive提供三种可以改变环境变量的方法,分别是: (1)、修改${HIVE_HOME}/conf/hive-site.xml配置文件; (2)、命令行参数; (3)、在已 阅读全文
posted @ 2022-06-20 11:52 爱上编程技术 阅读(145) 评论(0) 推荐(0)