2017年9月28日
kafka保证数据不丢失机制
摘要： kafka如何保证数据的不丢失 1、生产者如何保证数据的不丢失：消息的确认机制，使用ack机制我们可以配置我们的消息不丢失机制为 1，保证我们的partition的leader与follower都保存好了数据 2、消费者如何保证不重复消费数据：offset偏移量，记录了我们的消息消费的偏移量，新版本 阅读全文
posted @ 2017-09-28 00:32 zhangqi0828 阅读(726) 评论(0) 推荐(0)
kafka和flume进行整合的日志采集的confi文件编写
摘要： 配置flume.conf 为我们的source channel sink起名 a1.sources = r1 a1.channels = c1 a1.sinks = k1 指定我们的source收集到的数据发送到哪个管道 a1.sources.r1.channels = c1 指定我们的source 阅读全文
posted @ 2017-09-28 00:22 zhangqi0828 阅读(229) 评论(0) 推荐(0)