liuhuzone

  博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

2013年10月31日

摘要: 原文出处:rankfocus译文出处:外刊IT评论你是否曾经有过要计算一个非常大的数据(几百GB)的需求?或在里面搜索,或其它操作——一些无法并行的操作。数据专家们,我是在对你们说。你可能有一个4核或更多核的CPU,但我们合适的工具,例如grep,bzip2,wc,awk,sed等等,都是单线程的,只能使用一个CPU内核。借用卡通人物Cartman的话,“如何我能使用这些内核”?要想让Linux命令使用所有的CPU内核,我们需要用到GNU Parallel命令,它让我们所有的CPU内核在单机内做神奇的map-reduce操作,当然,这还要借助很少用到的–pipes参数(也叫做–spreadst 阅读全文
posted @ 2013-10-31 22:19 刘浒 阅读(702) 评论(0) 推荐(0) 编辑