Kafka可靠性的思考

首先kafka的throughput
很牛逼,参考:http://engineering.linkedin.com/kafka/benchmarking-apache-kafka-2-million-writes-second-three-cheap-machines

 

接着主要谈一下,Kafka的可靠性问题,有哪些机会可能丢数据?

从producer,broker,consumer的角度,分别看看

a. Producer到broker

    把request.required.acks设为1,丢会重发,丢的概率很小

b. Broker

    b.1 对于broker,落盘的数据,除非磁盘坏了,不会丢的

    b.2 对于内存中没有flush的数据,broker重启会丢
        可以通过log.flush.interval.messages和log.flush.interval.ms来配置flush间隔,interval大丢的数据多些,小会影响性能
        但在0.8版本,可以通过replica机制保证数据不丢,代价就是需要更多资源,尤其是磁盘资源,kafka当前支持GZip和Snappy压缩,来缓解这个问题
        是否使用replica取决于在可靠性和资源代价之间的balance

c. Consumer

    和其他的平台不同的是,其实Kafka真正比较复杂的是consumer,Kafka有两种consumer

    c.1 High-level consumer

    这个使用比较简单,已经封装了对partition和offset的管理,默认是会定期自动commit offset,这样可能会丢数据的,因为consumer可能拿到数据没有处理完crash
    之前我们在0.7上是使用这个接口的,为了保证不丢数据,把自动commit关掉,consumer处理完所有数据,再手动commit,这样丢数据的概率比较小

    对于storm,没法这样做,因为spout是会预读大量数据的,当然只要spout线程不crash,也是可以保证这些数据基本不会丢失(通过storm的acker机制)
    但如果spout线程crash,就会丢数据
    所以High-level接口的特点,就是简单,但是对kafka的控制不够灵活

    c.2 Simple consumer,low-level

    这套接口比较复杂的,你必须要考虑很多事情,优点就是对Kafka可以有完全的控制
    You must keep track of the offsets in your application to know where you left off consuming.
    You must figure out which Broker is the lead Broker for a topic and partition
    You must handle Broker leader changes

    在考虑如何将storm和kafka结合的时候,有一些开源的库,基于high-level和low-level接口的都有

    我比较了一下,还是kafka官方列的storm-kafka-0.8-plus比较靠谱些
    这个库是基于simple consumer接口实现的,看着挺复杂,所以我先读了遍源码,收获挺大,除了发现我自己代码的问题,还学到些写storm应用的技巧呵呵

    这个库会自己管理spout线程和partition之间的对应关系和每个partition上的已消费的offset(定期写到zk)
    并且只有当这个offset被storm ack后,即成功处理后,才会被更新到zk,所以基本是可以保证数据不丢的
    即使spout线程crash,重启后还是可以从zk中读到对应的offset

So, 结论就是kafka和storm的结合可靠性还是可以的,你真心不想丢数据,还是可以做到的
Kafka只是能保证at-least once逻辑,即数据是可能重复的,这个在应用上需要可以容忍
当然通过Storm transaction也是可以保证only once逻辑的,但是代价比较大,后面如果有这样的需求可以继续深入调研一下
对于kafka consumer,一般情况下推荐使用high-level接口,最好不要直接使用low-level,太麻烦

当前其实Kafka对consumer的设计不太到位,high-level太不灵活,low-level又太难用,缺乏一个medium-level
所以在0.9中consumer会被重新design,https://cwiki.apache.org/confluence/display/KAFKA/Consumer+Client+Re-Design

posted on 2014-06-26 19:48  fxjwind  阅读(4114)  评论(7编辑  收藏  举报