随笔分类 - Kafka
摘要:我有一个主题:test0811,里面有 10 条数据。 由于某些原因,我想要删除前5条数据,kafka提供了一个脚本 kafka-delete-records.sh 可以实现这个需求。 执行命令:./bin/kafka-delete-records.sh --bootstrap-server loc
阅读全文
摘要:问题 都说kafka在Windows上运行的错误多,果然如此。在测试阶段,创建了一个 测试主题,并往该主题发送了消息,然后删除该主题。这时错误出来了: kafka error log日志 [2024-01-08 15:22:42,224] ERROR Error while renaming dir
阅读全文
摘要:一、问题 在Windows 10上运行kafka (版本:kafka_2.12-3.3.1),出现log4j包对于文件重命名问题出错,如下图: 配置文档 修改的文档包括:zookeeper.properties 、 server.properties 、 log4j.properties 和 kaf
阅读全文
摘要:背景介绍 消费者正常消费一段时间后,断开连接,再次连接消费消费。发现尽管生产者一直在生产消息,但消费者却无法消费消息。 查询消费者组的信息: 出现警告:Warning: Consumer group 'ClientConsumer' is rebalancing,导致消费者无法消费消息。一定要等待这
阅读全文
摘要:auto.offset.reset latest(默认) 已有一个消费者groupId=ClientConsumer,消费消息到最新位置,然后停止消费。 启动生产者生产一定数量消息,然后停止生产。 接着启动消费者,设置 auto.offset.reset=latest 结果:消费者从上次消费位置接着
阅读全文
摘要:需求 虽然kafka server有命令行工具管理kafka,但必须登录到kafka server主机上,觉得不是特别方便。 希望在web界面可以管理kafka需求就来了,查到几个管理kafka管理工具,觉得kafka manager还不错。 该管理工具基本上可以满足我的需求: 1)管理kafka
阅读全文
摘要:消费者组查询 在 kafka server中查看有哪些消费者:./kafka-consumer-groups.sh --list --bootstrap-server localhost:9092 查询到有2个消费者组 消费者组描述 在 kafka server中查看指定消费者组信息:./kafka
阅读全文
摘要:producer发布消息失败 由于使用脚本:./kafka-server-stop.sh and ./zookeeper-server-stop.sh 关闭kafka后,jps查询服务还在,就打算把重启系统。 重启后,往kafka上发布消息失败,报错代码:brokers are down 。 一顿操
阅读全文
摘要:## 问题引入 尽管Kafka官方提供了生产者代码案例,我还是觉得有必要对代码进行一次解读,并加入个人的理解。 📌 **这里有一篇写的很好的博客,建议阅读[c语言使用librdkafka库实现kafka的生产和消费实例(转)](https://www.cnblogs.com/wangbin/p/8
阅读全文
摘要:前言 一两周前测试kafka,创建了topic: data-time,发布了一部分数据,测试kafka的发布和订阅均正常。 一两周后,也就是现在,再次取订阅topic: data-time。发现无法订阅了,准备的说是 :订阅失效了。 为了弄清楚前因后果,记录一下... 一、kafka配置文档(ser
阅读全文
摘要:运行环境: 操作系统:CentOS7.6 x64 kafka版本:kafka_2.13-3.3.1.tgz JDK环境:JDK11 (Kafka2.8版本才开始自带了Zookeeper,所以注意下载版本) 一、zookeeper.properties dataDir=/tmp/zookeeper/d
阅读全文
摘要:kafka每次关机重启后,都要重新手动启动。那能否让计算机开机后自动启动kafka呢? 答案:可以 一、Zookeeper开机自启服务 在 /lib/systemd/system/ 目录创建服务脚本 zookeeper.service :vim /lib/systemd/system/zookeep
阅读全文
摘要:Kafka的脚本启动和关闭(Linux) 一、脚本启动kafka ❤ 打开Kafka_Producer ❤ kafka启动脚本 创建bash文件:ka_start.sh,内容如下: #!/bin/bash kafka_path="/home/user/caojun/Kafka/kafka_2.13-
阅读全文
摘要:Kafka单节点部署(Linux 环境) 运行环境:CentOS7.6 x64 JDK环境:JDK11(请参考JDK的安装和配置(Linux环境)) 一、Kafka安装包获取 1-1 kafka官网 1-2 WinSCP上传 (注意:CentOS切换到root账户下,进行下面所有的操作) 在\hom
阅读全文
摘要:JDK的安装和配置(Linux环境) 一、查询本地是否有JDK11环境 查询命令:java -version 虽然本地已有jdk环境,但不是我们需要的版本,需要更新为jdk11版本 二、安装JDK11环境 ❤ 在/home 目录下,创建 install_jdk11.sh文件(即 touch inst
阅读全文
摘要:Kafka Server之kafka-console-consumer.bat 注意:博主使用kafka版本:kafka_2.12-3.3.1.tgz windows版 一、订阅主题全部消息 (注意:Producer 已经生产:0~4999共5000条消息) 在kafka\bin\windows目录
阅读全文
摘要:Kafka工具:Offset Explorer 一、Offset Explorer安装 offsetexplorer_64bit.exe Windows x64版本下载链接 安装方式:选择默认安装(即全部默认下一步) 官网链接:https://www.kafkatool.com/index.html
阅读全文
摘要:注意:博主使用kafka版本:kafka_2.12-3.3.1.tgz windows版 一、topic创建 注意:前提条件 Zookeeper 和 Kafka 已启动 进入kafka\bin\windows目录下,打开cmd.exe,输入命令: kafka-topics.bat --create
阅读全文
摘要:Kafka Consumer指定时间戳位置消费消息 若用户不想从最旧的(earliest)或最新的(lastest)offset位置开始消费,想指定某个时间戳位置开始消费,是否可行呢? 答案:可行的 用户给定时间戳,kafka server通过时间戳确定并返回距离时间戳最近的一条消息的offset,
阅读全文
摘要:Kafka Client C --Producer && Consumer 运行环境:Windows 10 64位、Visual Stdio 2017 Community、kafka_2.12-3.3.1.tgz 一、Kafka Client C库 Kafka官网只提供Java版本的Client 库
阅读全文