逖靖寒的世界

每天进步一点点

导航

为什么在Cassandra版本0.6.1中不适合使用Binary Memtable的方式导入大量的数据。

在上一篇文章《使 用Binary Memtable将大量数据导入Cassandra》中,讲解了如何使用Binary Memtable将大量数据导入Cassandra。

这一周一直在看如果使用Binary Memtable的方式导入大量的数据。今天看下来,我还是觉得在目前这个版本不适合使用这种方式去导入数据。

原因如下:

  • 0.6+的版本中,Cassandra集群中取消了UDP通信,完全采用TCP监听固定端口(7000)。这种方式导致了2个严重的问题

1 如果某台机器是Cassandra Server,那么它会绑定7000端口,这个时候我们就无法在本机再次启动使用Binary Memtable方式导入的Client程序了,因为Client程序自身也要绑定7000端口。

2 因为使用Binary Memtable方式导入数据,需要结合MapReduce进行。但是MapReduce可能会在某一台Slave机器中运行多个ReduceTask,这样情况相当于在一台机器上同时启动了多个Client程序,而且每个Client程序都需要绑定7000端口,所以这多个Client程序只有一个可以初始化成功。

  • Binary Memtable的运行机制如下:Client端将要导入的数据序列化,然后将序列化后的数据传递给每一个需要改数据的Cassandra Server机器(包括容灾备份的机器),每一台Cassandra Server接收到数据后,先执行反序列化,然后放入内存,当放入内存的数据达到一个量或者是接受到flush操作命令后,执行flush操作,将内存中的数据写入SSTable,将数据持久化到硬盘中。这种方式会导致以下2个问题:

1 由于某一个数据对应的所有机器(包括容灾备份的机器)是在Client端计算出来的,所以Client端会不管Cassandra Server是否可用,将数据发送到所有相关的机器中。当某一个Cassandra Server不可用的时候,那么该不可用的Cassandra Server就不会包含这些数据了。当然,这个问题可以通过后期实际使用的Read Repair操作修复,但是当不可用的机器操作N/2+1的时候,数据就永远无法一致了。

2 我们将某一个数据写入到Cassandra Server后,是不知道Cassandra Server是否真的写入成功,因为接受数据的Cassandra Server没有返回值。具体可以参考sendOneWay和BinaryVerbHandler的实现。

  • Cassandra的集群机制如下:每一个Keyspace中的一个key的数据都会对应一台Cassandra Server来存储,同时根据我们配置的容灾备份数据自动选择另外几台Cassandra Server来做容灾。当有一台新的Cassandra Server启动后,之前已经存在所有Cassandra Server都会将这个新启动的Cassandra Server加入自己的token map中,认为整个集群的机器又新增加了一台。以后有相关的数据就会发生到新添加的Cassandra Server中。当某台Cassandra Server不可用的时候,负责容灾备份的机器的机器会将发送给不可用Cassandra Server的数据缓存到自己的STSTEM TABLE中,当其发现之前不可用Cassandra Server启动后,再将STSTEM TABLE中的HINT数据发送过去,完成整个数据备份与恢复的流程。这种方式也会带来一个严重问题:

1 我们启动的Client程序会使用和普通Cassandra Server一样的启动方式,然后加入整个Cassandra集群,这样集群中的其他Cassandra Server会执行数据的负载均衡操作,将备份数据通过Strean的方式传输到Client机器中来。同时由于Client程序并不是正真的Server机器,所以会导致很多Cassandra Server的STSTEM TABLE中缓存大量应该发送给Client机器的数据。

  • Cassandra的这个版本自身代码也存在Bug

1 我们启动Client程序以后无法正常关闭Client程序,后台仍然有线程在执行。这个问题会引起Hadoop MapReduce程序无法正常执行。这个Bug已经修复。

2. Cassandra官网上还有其他的Bug报告。

基于以上这些考虑,决定放弃使用Binary Memtable的方式导入大量数据。

 

更多关于Cassandra的文章:http://www.cnblogs.com/gpcuster/tag/Cassandra/

posted on 2010-05-21 18:56  逖靖寒  阅读(1926)  评论(0编辑  收藏  举报