简单,可复制

点点滴滴,尽在文中

  :: 首页 :: 博问 :: 闪存 :: 新随笔 :: 联系 :: 订阅 订阅 :: 管理 ::

在hive0.7的版本中增加了local hadoop的功能,就是在处理数据量比较小的情况在本地执行,而不走分布的mapred。
这样一来,那些比较小的任务的执行速度就会大大提高。

那到底什么样的任务会采用local hadoop呢,是由hive的一个参数控制的。
hive.exec.mode.local.auto.inputbytes.max

当处理的数据量比这个参数值小的情况下就会采用local hadoop的方式来执行。

如果想要屏蔽掉local hadoop的功能,只需要把这个参数设置为-1即可。

<property>
  <name>hive.exec.mode.local.auto.inputbytes.max</name>
  <value>-1</value>
</property>

转自 http://www.oratea.net/?p=703

posted on 2013-01-03 18:45  ggjucheng  阅读(1842)  评论(0编辑  收藏  举报