摘要: Kafka介绍 在流式计算中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算。 KAFKA + STORM +REDIS 1、Apache Kafka是一个开源消息系统,用Scala写成。 2、Kafka是一个分布式消息队列:生产者、消费者的功能。它提供了类似于JMS的特性, 阅读全文
posted @ 2017-05-25 23:00 ahu-lichang 阅读(615) 评论(0) 推荐(0) 编辑
摘要: storm消息容错机制(ack-fail) 1、介绍 在storm中,可靠的信息处理机制是从spout开始的。 一个提供了可靠的处理机制的spout需要记录他发射出去的tuple,当下游bolt处理tuple或者子tuple失败时spout能够重新发射。 Storm通过调用Spout的nextTup 阅读全文
posted @ 2017-05-25 16:40 ahu-lichang 阅读(3228) 评论(0) 推荐(0) 编辑