Kafka - 随笔分类 - 吹静静

报错：Kafka No kafka server to stop

摘要：报错背景软件版本：kafka_2.11-2.2.1-kafka-4.1.0 新安装的Kafka启动之后，使用kafka-server-stop.sh命令无法正常关闭。报错现象报错原因 Kafka的关闭脚本有问题，找不到Kafka的进程号。报错解决原始Kafka关闭脚本：kafka-serv 阅读全文

posted @ 2022-02-11 17:06 吹静静阅读(427) 评论(0) 推荐(0) 编辑

报错：Bootstrap broker basecoalmine:2181 (id: -1 rack: null) disconnected (org.apache.kafka.clients.NetworkClient)

摘要：报错背景：新安装的单机版kafka启动消费者的时候报错！报错现象： [2020-05-19 22:08:04,053] WARN [Consumer clientId=consumer-console-consumer-36457-1, groupId=console-consumer-3645 阅读全文

posted @ 2020-05-19 22:21 吹静静阅读(18490) 评论(3) 推荐(1) 编辑

Kafka历史数据保存策略配置

摘要：进入kafka配置文件，修改 server.properties 文件。 1 log.retention.hours=1 # 超过1个小时就清理数据 2 log.segment.bytes=5000 # 数据量超过5000byte就清理数据 3 log.cleanup.interval.mins=1 阅读全文

posted @ 2020-05-14 20:47 吹静静阅读(3570) 评论(0) 推荐(0) 编辑

报错（未解决）：Offset commit failed on partition xxx at offset 957: The coordinator is not aware of this member.

摘要：1.报错背景服务器：Linux集群 3台，32GB内存； Kafka创建了大约140个Topic，和与Topic数目相同的Consumer，设置分区数量不祥；每个Consumer都在GroupId，没有单独的standalone consumer；项目在运行过程中突然出现了大量分区提交失败的现阅读全文

posted @ 2020-05-07 23:25 吹静静阅读(23745) 评论(3) 推荐(1) 编辑

python调用kafka服务（使用kafka-python库）

摘要：试验环境： CDH 5.15.1 CentOS 7 Python 3.7.0 kafka 1.1.1 kafka-python ：https://pypi.org/project/kafka-python/#files 实验目的：通过python线程，不断的将指定接口中的数据取出，并将数据不断发送阅读全文

posted @ 2019-06-12 10:05 吹静静阅读(10877) 评论(0) 推荐(0) 编辑

报错：Connection to node -1 could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)

摘要：报错背景：启动kafka消费者之后出现这种报错，持续打印相同信息。报错现象：报错原因：不明。报错解决：阅读全文

posted @ 2019-05-27 09:29 吹静静阅读(18694) 评论(1) 推荐(0) 编辑

报错:（未解决）NoReplicaOnlineException: No replica in ISR for partition __consumer_offsets-8 is alive. Live brokers are: [Set(50, 51, 52)], ISR brokers are: [68]

摘要：报错背景： CDH集成kafka插件之后，启动kafka时就报出此错误。报错现象：报错原因：主要信息：No replica in ISR for partition __consumer_offsets-8 is alive 信息翻译：ISR中没有用于分区__consumer_offsets- 阅读全文

posted @ 2019-05-21 15:01 吹静静阅读(1747) 评论(0) 推荐(0) 编辑

报错：(未解决)java.lang.VerifyError: Instruction type does not match stack map

摘要：报错背景： CDH中集成kafka的服务，解决完kafka的jar包报错之后重启，发现这个报错。报错现象：报错原因：报错原因不明，看不懂，没查到相关资料。报错解决：不知道怎么解决的，在无数次的重启之后，过了段时间报错自己消失了。阅读全文

posted @ 2019-05-21 11:01 吹静静阅读(1700) 评论(1) 推荐(0) 编辑

报错：java.lang.AbstractMethodError: nl.techop.kafka.KafkaHttpMetricsReporter.logger()Lcom/typesafe/scalalogging/Logger;

摘要：报错背景： CDH启动kafka的时候出现报错情况，并且报错的节点挂掉。报错现象：报错原因： jar包冲突，仔细检查环境里面是不是有自己打的jar包里面正好有kafka的相关内容，并且放在了环境变量吧可以读取的目录。报错解决：删除冲突的jar包，或者更改环境变量，重启之后报错消失。阅读全文

posted @ 2019-05-21 10:46 吹静静阅读(858) 评论(0) 推荐(0) 编辑

报错：Error while fetching metadata with correlation id 67 : {alarmHis=LEADER_NOT_AVAILABLE}

摘要：报错背景：单机安装了kafka，创建完成主题，启动生产者的时候产生报错现象。报错时持续不断打印日志信息。报错现象：报错原因：获取相关ID为xx的元数据时出错。报错解决： 1.进入到kafka的安装目录下的配置文件目录 cd /opt/kafka/config 2.打开server.prop 阅读全文

posted @ 2019-05-21 10:36 吹静静阅读(8748) 评论(0) 推荐(0) 编辑

报错：Configured broker.id 68 doesn't match stored broker.id 113 in meta.properties

摘要：报错背景： CDH中安装完成kafka的组件后不能成功启动，发现UI界面中的broker.id和服务器中的broker.id不一致，因此更改了服务器中broker.id 但是更改完成之后还是报错。报错现象： Fatal error during KafkaServer startup. Prep 阅读全文

posted @ 2019-05-06 10:21 吹静静阅读(804) 评论(0) 推荐(0) 编辑

Kafka基本命令

摘要：1.创建自定义的topic 在bin目录下执行： kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test 注:副本数量要小于等于节点数量 2.查看所有阅读全文

posted @ 2019-04-08 16:46 吹静静阅读(172) 评论(0) 推荐(0) 编辑

报错：java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc（）

摘要：1.报错现象：启动kafka的时候启动失败，并且会报告下面的错误： java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)Ljava/lang/Object; 报错原因：产生这个错误的原因有两个：一是，阅读全文

posted @ 2019-03-21 14:38 吹静静阅读(1613) 评论(0) 推荐(0) 编辑

Flink+Kafka 接收流数据并打印到控制台

摘要：试验环境 Windows：IDEA Linux：Kafka，Zookeeper POM和Demo 在云主机上启动服务 1.启动zookeeper； 2.启动Kafka； 3.创建topic； 4.启动生产者。运行程序KafkaDemo 1.在kafka的生产者界面输入内容 2.查看IDEA的控制台阅读全文

posted @ 2019-03-15 09:42 吹静静阅读(10157) 评论(0) 推荐(0) 编辑

Kafka 配置安装

摘要：1.从官网下载安装包 http://kafka.apache.org/downloads2.上传到01虚拟机，解压3.进入安装目录下的config目录4.对server.properties进行配置 [root@hadoop01 config]# vim server.properties 配置示例阅读全文

posted @ 2019-03-14 15:15 吹静静阅读(150) 评论(0) 推荐(0) 编辑

报错：NoSuchMethodError: kafka.javaapi.PartitionMetadata.leader()Lkafka/cluster/Broker;

摘要：报错现象：在pom文件添加：完整的pom文件：阅读全文

posted @ 2019-03-07 16:41 吹静静阅读(822) 评论(0) 推荐(0) 编辑

解析流中的Xml文件时，报错：java.net.MalformedURLException: no protocol

摘要：原来的代码：将流stream对接到xml解析的代码之后爆出错误：解决方法：即可成功。阅读全文

posted @ 2019-03-05 14:59 吹静静阅读(7257) 评论(3) 推荐(0) 编辑

kafka产生的数据通过Flume存到HDFS中

摘要：试验目标：把kafka的生产者发出的数据流经由Flume放到HDFS来存储。试验环境： java:1.8 kafka:2.11 flume:1.6 hadoop:2.8.5 试验流程： 1.进入zookeeper的bin目录，启动zookeeper $ zkServer.sh start 2.配阅读全文

posted @ 2019-02-28 11:55 吹静静阅读(4302) 评论(0) 推荐(0) 编辑

kafka服务自动关闭

摘要：解决方法： kafka启动的时候添加守护进程问题原因：待补充。。。阅读全文

posted @ 2019-02-27 14:29 吹静静阅读(2020) 评论(0) 推荐(0) 编辑

吹静静

欢迎QQ交流：592590682

随笔分类 - Kafka