随笔分类 -  Kafka

摘要:1、消息发送至一个topic,而这个topic可以由多个partition组成,每条消息在partition中的位置称为offset 2、消息存在有效期,如果设置为2天,则消息2天后会被删除 3、每个consumer可以消费消息,消息的当前最新消息称为偏移量offset(注意与前面的offset相区 阅读全文
posted @ 2018-02-06 00:11 gudi 阅读(303) 评论(0) 推荐(0)
摘要:在前一篇:kafka学习1:kafka安装 中,我们安装了单机版的Kafka,而在实际应用中,不可能是单机版的应用,必定是以集群的方式出现。本篇介绍Kafka集群的安装过程: 一、准备工作 1、开通Zookeeper和Kafka需要的端口 在 zookeeper-端口说明 中,我们可以看到Zooke 阅读全文
posted @ 2017-11-16 23:56 gudi 阅读(1869) 评论(0) 推荐(0)
摘要:在安装Kafka集群的时候,碰到这个问题。 我们知道在搭建Kafka集群的时候,我们需要设置broker.id,以作为当前服务器在整个集群的唯一标志。 网上搜查资料是说,log.dirs目录下的meta.properties中配置的broker.id和配置目录下的server.properties中 阅读全文
posted @ 2017-11-16 23:16 gudi 阅读(12027) 评论(0) 推荐(1)
摘要:一、环境准备 1、jdk 如果不会安装linux下的jdk,参考这篇文章:http://www.cnblogs.com/gudi/p/7812033.html 2、kafka wget –c http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/1.0.0 阅读全文
posted @ 2017-11-13 21:29 gudi 阅读(281) 评论(0) 推荐(0)