文章分类 -  Kafka

Kafka
kafka基础
摘要:Kafka 是一个分布式流处理平台,最初由 LinkedIn 开发,现为 Apache 顶级项目。它主要用于构建实时数据管道和流处理应用,支持高吞吐量、低延迟的数据处理[5](@ref)。 ### 核心概念 - **Topic(主题)**:消息的逻辑分类,类似数据库中的表,可划分为多个分区以提高并发 阅读全文

posted @ 2024-08-09 21:04 是水饺不是水饺 阅读(49) 评论(0) 推荐(0)

Kafka高可用集群搭建
摘要:192.168.0.191192.168.0.110192.168.0.122 三台机器搭建 每台机器 docker pull zookeeper:3.4 每台机器映射挂载目录 每台机器增加目录权限 chmod +777 /home/admin1/yyx/zookeeper/ chmod +777 阅读全文

posted @ 2023-08-22 12:00 是水饺不是水饺 阅读(96) 评论(0) 推荐(0)

.net core Kafka 集群搭建(五)
摘要:.net core Kafka 集群搭建(五) 阅读全文

posted @ 2023-08-19 21:56 是水饺不是水饺 阅读(15) 评论(0) 推荐(0)

.net core 下使用 Kafka 延迟队列(四)
摘要:在电商业务中存在一个场景,用户生成订单,超过30分钟,将订单修改未支付,延迟队列就可以解决该场景问题 1 public class KafkaTopic 2 { 3 public static string Topic = "create-order"; 4 5 public static stri 阅读全文

posted @ 2023-01-31 00:33 是水饺不是水饺 阅读(108) 评论(0) 推荐(0)

.net core 下使用 Kafka 批量发送消息,使用事务(四)
摘要:批量发送消息,使用事务,要么全失败要么全成功 重要提示 必须设置事物ID producerConfig.TransactionalId =Guid.NewGuid().ToString();//必须设置事物id 1 /// <summary> 2 /// 批量发送 3 /// </summary> 阅读全文

posted @ 2023-01-30 21:37 是水饺不是水饺 阅读(202) 评论(0) 推荐(0)

.net core 下使用 Kafka 生产者批量发送给消息处理,使用事务(四)
摘要:生产者批量发送消息,使用事务,要么全部失败要么全部成功 重要 说明 事物id必须要设置 producerConfig.TransactionalId =Guid.NewGuid().ToString();//必须设置事物id 1 /// <summary> 2 /// 批量发送 3 /// </su 阅读全文

posted @ 2023-01-30 21:26 是水饺不是水饺 阅读(187) 评论(0) 推荐(0)

.net core 下使用 Kafka 动态创建分区,创建主题(三)
摘要:Kafka 动态创建分区,创建主题,代码接上一篇 写在api里了 1 using Confluent.Kafka.Admin; 2 using Confluent.Kafka; 3 using KafkaCommom; 4 using Microsoft.AspNetCore.Http; 5 usi 阅读全文

posted @ 2023-01-30 18:00 是水饺不是水饺 阅读(332) 评论(0) 推荐(0)

.net core 下使用 Kafka(二)
摘要:上篇文章 介绍了 docker 下安装 kafka 这篇文章介绍如何在.net core 下使用 Kafka 项目结构 KafkaCommom 类库项目 KafkaWebAPI .net core webapi 项目 KafKaWorker 为 work service 辅助角色服务 项目引用 Ka 阅读全文

posted @ 2023-01-29 18:44 是水饺不是水饺 阅读(645) 评论(0) 推荐(1)

docker 下Kafka 单机安装(一)以及问题
摘要:docker-compose.yml 文件 执行之前需要 修改你的 KAFKA_ADVERTISED_HOST_NAME 1 version: '2' 2 3 services: 4 zoo1: 5 image: wurstmeister/zookeeper 6 restart: unless-st 阅读全文

posted @ 2023-01-29 14:49 是水饺不是水饺 阅读(210) 评论(0) 推荐(0)

导航