kafka - 随笔分类 - 代码吴彦祖

使用线程池消费kafka数据，性能提高50倍

摘要：问题描述：之前在springboot中监听kafka的topic，执行消费数据、数据同步的业务，但由于单线程并且有数据库的更新、删除操作、kafka的同步提交偏移量导致性能低下、且kafka同步提交导致程序运行一段时候后会出现： max-poll-records相关的错误。这个是由于之前项目配置的批阅读全文

posted @ 2025-08-06 14:32 代码吴彦祖阅读(73) 评论(0) 推荐(0)

kafka单节点安装

摘要：下载地址：https://archive.apache.org/dist/kafka/2.2.2/kafka_2.11-2.2.2.tgz 1.配置server.xml # 对外监听地址 listeners=PLAINTEXT://172.17.68.115:9092 2.创建启动脚本 source 阅读全文

posted @ 2023-02-17 11:14 代码吴彦祖阅读(121) 评论(0) 推荐(0)

xshell里面实现kafka一对一发送和接收消息测试

摘要：1.连接相关xshell，打开两个窗口一个给生产者用一个给消费者用在生产者里输入：./kafka-console-producer.sh --broker-list localhost:9092 --topic testTopic消费者里输入：./kafka-console-consumer.sh 阅读全文

posted @ 2021-11-30 15:18 代码吴彦祖阅读(350) 评论(0) 推荐(0)

随笔分类 - kafka