随笔分类 - Kafka
kafka
摘要:一.单线程消费与多线程消费 单线程消费 优势: 实现简单,无需处理线程安全问题。 顺序性强,同一分区的消息按顺序处理。 适合处理需要严格顺序的业务(如金融交易流水)。 劣势: 吞吐量瓶颈:消费速度受限于单线程处理能力。 资源利用率低:无法充分利用多核 CPU。 多线程消费 优势: 并行处理:提升整体
阅读全文
摘要:样例配置文件 private KafkaConsumer<String, String> createConsumer() { Properties props = new Properties(); props.put("bootstrap.servers", kafkaServers); pro
阅读全文
摘要:kafka消费消息 多线程带重试功能的异步处理 错误补偿机制,当超过最大重试次数后,消息扔到数据库表中 拉取一批消息异步处理,批量提交ack import org.apache.kafka.clients.consumer.ConsumerConfig; import org.apache.kafk
阅读全文
摘要:# 1.引入开源组件logback-kafka-appender ```xml com.github.danielwegener logback-kafka-appender 0.2.0-RC2 ch.qos.logback logback-classic ``` # 2.logback-sprin
阅读全文
摘要:Kafka原理 1.架构 broker-0 broker-1 一个kafka集群由多个broker组成,才能实现负载均衡,容错 broker无状态,通过zookeeper来维护集群状态 一个kafka的broker可以处理10万/秒读写,每个broker都可以处理TB消息而不影响性能 2.zooke
阅读全文

浙公网安备 33010602011771号