kafka api消费集群中kafka数据报错问题

ERROR - Failed to send requests for topics test3 with correlation ids in [0,12](错误大概是这样的)

出现这个错误的时候我漫天的百度,因为自己在集群中生产者生产的数据,消费者能够消费。但是在本地java api 生产数据发送到kafka集群中就出现上面的错误了,百度上面的方法基本都试过了,什么ip配置错误、kafka配置文件中的hosts.name没有配置呀  等等,都试过了,都不行

首先我进入掉kafka的DataDir(大概是这个目录,就是存放kafka数据的地方),我进入到我生产数据的主题,在没有运行java 程序之前发现这个文件是空的,但是等我运行java 程序,程序报错但是文件夹却有数据而且数据是我自己在java程序生产的,这时候我首先想到的肯定是集群出问题了。于是我重新安装kafka集群,配置文件肯定不能用之前的配置文件了。因为我的配置文件配置了host.name等,其实这些都没有用,只需要配置如下几个参数:

 

[kafka/config/server.properties]
...
broker.id=202
...
listeners=PLAINTEXT://:9092
...
log.dirs=/home/centos/kafka/logs
...
zookeeper.connect=s201:2181,s202:2181,s203:2181

 

 

其他的参数都不需要配置,配合多了可能会导致集群出问题,具体的细节我没有去深究,有兴趣的可以研究研究。

posted @ 2018-07-27 10:37  ~奔跑的蜗牛~  阅读(931)  评论(0编辑  收藏  举报