会员
周边
新闻
博问
融资
云市场
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
未完待续z
Powered by
博客园
博客园
|
首页
|
新随笔
|
联系
|
订阅
|
管理
2021年1月26日
hive中合并小文件
摘要: Hive小文件产生的原因 一方面hive数据仓库中汇总表的数据量通常比源数据少的多,而且为了提升运算速度,我们会增加Reduce的数量,Hive本身也会做类似的优化 Reducer数量等于源数据的量除以hive.exec.reducers.bytes.per.reduce所配置的量(默认1G)。Re
阅读全文
posted @ 2021-01-26 11:40 未完待续z
阅读(1144)
评论(0)
推荐(0)
编辑