2008年10月30日

多线程 Pipeline 的改进

摘要: 如果一个任务的执行分多个步骤,有些步骤慢,有些步骤快,如果在处理时间长的步骤上使用更多线程,那么因为队列的缓冲作用,在平均处理时间上,这些步骤就可以大致持平了,从而导致更大的吞吐量。 以前的 Pipeline 完全胜任这样的需求,但是,如果有一个这样的需求,考虑如下例子:有若干篇文章(百万以上),需要对这些文章进行分析并索引,使用Pipeline,分成以下步骤:步骤平均耗费时间(每篇文章)顺序注释一,读取文章很快,5毫秒按文章ID顺序读取二,分析文章较慢,30毫秒处理顺序无所谓三,索引文章较快,8毫秒按文章ID顺序建立索引基于效率上的考虑,顺序建索引的速度快得多,实现上也更简单为了平衡速度,在 阅读全文

posted @ 2008-10-30 16:55 能发波 阅读(334) 评论(0) 推荐(0)

爱尔兰巨角鹿的死去

摘要: 地球上曾经出现了一种鹿,叫做爱尔兰巨角鹿,毫无疑问,它有非常巨大的鹿角。按照新达尔文注意的解释:在开始的时候,较大的鹿角使得鹿有较强的生存能力,它夺取了第一个高地。后来事情发生了一点变化,雌鹿开始喜欢鹿角巨大的雄鹿,那些鹿角稍微小点的雄鹿,大多不是因为生存不下去而灭绝了,而是因为没有雌鹿和它交配而没了后代。然后,鹿角就越来越大,以至于大得对它来说是巨大的负担,让它承受不起,但是,为了能够得到母鹿,鹿角还在不停地长大。为什么母鹿会喜欢大得夸张以至于毫无实用性甚至是有害的鹿角呢?道金斯给出了一个非常合理的解释:固然小鹿角的雄鹿的生存能力和大鹿角的雄鹿一样强,但是,正因为鹿角已经成了一个负担,负担得 阅读全文

posted @ 2008-10-30 15:43 能发波 阅读(480) 评论(0) 推荐(0)

导航