渔舟唱晚的天空
——welkinwalker的遐想

解决老chunk的若干问题,包括:

  1. failover问题。以前支持两个进程的时候,如果其中一个挂掉,则另外一个要接管所有的数据请求,当失败进程重启的时候,又要把所有数据发回去。
  2. 扫描过期文件问题。以前处理过期数据的方法是:每隔一定时间,启动一个扫描脚本,把一个进程上的所有记录扫面一遍,删除过期的。
  3. 扩展时的负载均衡问题。 以前只能是成倍扩展,两台机器添加一台机器后,只有一台机器的压力能够被缓解,如果已经是4个进程 ,则要加到8个才可以。
相比以前的关键改动在于:参与一致性哈希的对象变了,以前的时候是node,现在变成了node里面的chunk文件。带来的一些列变化包括:

  1. master不光要维持node信息,同时也要维持所有的chunk文件信息。
  2. 以前的insert接口只要提供三个参数:node_id, key, value,现在要提供的包括:node_id, chunk_id, key, value。
  3. 负载在chunk文件这个范围内进行分配,不会在node这个层面上分配。
  4. chunk文件到达一定的大小程度的时候,要分裂,在分裂的时候要把一个chunk文件的内容均摊到两个chunk文件,这个时候来做过期检查,删除过期的记录。
  5. 每个node维持一个fd池,用来保证fd的使用不会拖慢系统。
  6. 当node的进程挂掉的时候,别的node来接管数据,当进程重新启动完毕的时候,会把相应的chunk文件从别的node上拷贝回来。
  7. node的数据不时replication,当node挂掉时,损失的数据就不要了。

 

 

posted on 2011-07-25 13:46  welkinwalker  阅读(324)  评论(0编辑  收藏  举报