摘要: 你是否曾经有过要计算一个非常大的数据(几百GB)的需求?或在里面搜索,或其它操作——一些无法并行的操作。数据专家们,我是在对你们说。你可能有一个4核或更多核的CPU,但我们合适的工具,例如grep,bzip2,wc,awk,sed等等,都是单线程的,只能使用一个CPU内核。 借用卡通人物Cartman的话,“如何我能使用这些内核”? 要想让Linux命令使用所有的CPU内核,我们需要用到GNU Parallel命令,它让我们所有的CPU内核在单机内做神奇的map-reduce操作,当然,这还要借助很少用到的–pipes参数(也叫做–spreadstdin)。这样,你的负载就会平均分配到... 阅读全文
posted @ 2013-10-31 14:45 holycrap 阅读(215) 评论(0) 推荐(0)
摘要: Expert Shell Scripting好好学习这本书 阅读全文
posted @ 2013-10-31 11:01 holycrap 阅读(170) 评论(0) 推荐(0)
摘要: tr [a-z] [A-Z]转换成全大写 阅读全文
posted @ 2013-10-31 10:52 holycrap 阅读(313) 评论(0) 推荐(0)
摘要: ssh命令在linux下可以远程执行其他机器的命令ssh root@10.166.46.213 "command" 阅读全文
posted @ 2013-10-31 09:37 holycrap 阅读(139) 评论(0) 推荐(0)
摘要: scp拷贝文件scp test.txt root@10.166.46.213:/home/拷贝目录scp -r testfolder root@10.166.46.213:/home/ 阅读全文
posted @ 2013-10-31 09:31 holycrap 阅读(134) 评论(0) 推荐(0)