摘要：
hive.exec.mode.local.auto 决定 Hive 是否应该自动地根据输入文件大小，在本地运行（在GateWay运行） true hive.exec.mode.local.auto.inputbytes.max 如果 hive.exec.mode.local.auto 为 true，当输入文件大小小于此阈值时可以自动在本地模式运行，默认是 128兆。 134217728L hive.exec.mode.local.auto.tasks.max 如果 hive.exec.mode.local.a... 阅读全文
阅读排行榜
实例讲解hadoop中的map/reduce查询(python语言实现)
2013-07-10 10:55 by java20130722, 352 阅读, 收藏,
摘要：
条件，假设你已经装好了hadoop集群，配好了hdfs并可以正常运行。$hadoop dfs -ls /data/dw/explorerFound 1 itemsdrwxrwxrwx - rsync supergroup0 2011-11-30 01:06 /data/dw/explorer/20111129$ hadoop dfs -ls /data/dw/explorer/20111129Found 4 items-rw-r--r-- 3 rsync supergroup 12294748 2011-11-29 21:10 /data/dw/explorer/20111129/explor 阅读全文
编译android源码四(常见错误)
2013-04-11 13:13 by java20130722, 351 阅读, 收藏,
摘要：
运行如下命令:$ emulator1.错误信息: emulator: WARNING: system partition size adjusted to match image file(205 MB > 200 MB)解决方法：emulator -partition-size 3002. 错误信息: SDL init failure, reason is: No available video device2.1 安装libsdl1.2debian:i386.I added the sitehttp://archive.canonical.com/to the list of rep 阅读全文
ubuntu 批量替换
2013-04-10 00:01 by java20130722, 351 阅读, 收藏,
摘要：
ubuntu 批量替换在~/test/test 文件里面有把这个文件里面的 替换成daniel命令1:perl -pi -e 's||daniel|g' `find ./ -type f` -pi -e 参数 's||daniel|g' 将 替换成 daniel `find ./ -type f` 此命令是显示当前目录下所有的文件命令2：sed -i "s//daniel/g" `grep -rl ./` -i 参数 "s//daniel/g" 将 替换成 daniel `grep -rl ./` grep---UNIX工 阅读全文
hive中的bucket table
2013-07-12 15:14 by java20130722, 350 阅读, 收藏,
摘要：
当数据量比较大，我们需要更快的完成任务，多个map和reduce进程是唯一的选择。但是如果输入文件是一个的话，map任务只能启动一个。此时bucket table是个很好的选择，通过指定CLUSTERED的字段，将文件通过hash打散成多个小文件。create table sunwg_test11(id int,name string)CLUSTERED BY(id) SORTED BY(name) INTO 32 BUCKETSROW FORMAT DELIMITEDFIELDS TERMINATED BY ‘/t’;执行insert前不要忘记设置set hive.enforce.bucke 阅读全文
浙公网安备 33010602011771号