随笔分类 -  分布式

摘要：为什么需要一致性hash 传统hash算法常用方式为：hash(object)%N N为一个固定值。 N设置较小时容易产生冲突碰撞问题。而N设置较大时则带来开销问题。 对于我们常用的单机程序时是内存开销变大。而用在分布式环境时，该N值和机器数目相关，则是需要的机器数增加。因此，N值应该是一个随着 业务不断变大，而逐步提升的值。而该传统的hash算法带来的问题是N值改变，比如最初N为... 阅读全文

摘要：gearman 入门 阅读全文

摘要：http://www.kuqin.com/system-analysis/20121209/333922.html 看到先记下来。回头试验下 在@hacker101的围脖上看到了这个框架，看了下官网，觉得很适合爬虫、多进程并行处理等任务。 看看官方提供的几个例子： Mass PDF quote email Synchronous Image Resize Shard-... 阅读全文