摘要:
你是否曾经有过要计算一个非常大的数据(几百GB)的需求?或在里面搜索,或其它操作——一些无法并行的操作。数据专家们,我是在对你们说。你可能有一个4核或更多核的CPU,但我们合适的工具,例如grep,bzip2,wc,awk,sed等等,都是单线程的,只能使用一个CPU内核。 借用卡通人物Cartman的话,“如何我能使用这些内核”? 要想让Linux命令使用所有的CPU内核,我们需要用到GNU Parallel命令,它让我们所有的CPU内核在单机内做神奇的map-reduce操作,当然,这还要借助很少用到的–pipes参数(也叫做–spreadstdin)。这样,你的负载就会平均分配到... 阅读全文
posted @ 2013-10-31 14:45
holycrap
阅读(215)
评论(0)
推荐(0)
摘要:
Expert Shell Scripting好好学习这本书 阅读全文
posted @ 2013-10-31 11:01
holycrap
阅读(170)
评论(0)
推荐(0)
摘要:
tr [a-z] [A-Z]转换成全大写 阅读全文
posted @ 2013-10-31 10:52
holycrap
阅读(313)
评论(0)
推荐(0)
摘要:
ssh命令在linux下可以远程执行其他机器的命令ssh root@10.166.46.213 "command" 阅读全文
posted @ 2013-10-31 09:37
holycrap
阅读(139)
评论(0)
推荐(0)
摘要:
scp拷贝文件scp test.txt root@10.166.46.213:/home/拷贝目录scp -r testfolder root@10.166.46.213:/home/ 阅读全文
posted @ 2013-10-31 09:31
holycrap
阅读(134)
评论(0)
推荐(0)

浙公网安备 33010602011771号