随笔分类 -  kafka

kafka项目中踩到的一个坑（客户端和服务器端版本不一致问题）
摘要：启动项目时控制台抛出的异常信息： 阅读全文
posted @ 2017-12-27 12:50 xuebusi 阅读(2260) 评论(0) 推荐(0)
windows下IntelliJ IDEA搭建kafka源码环境
摘要：于kafka核心原理的资料，网上有很多，但是如果不自己研究其源码，永远是知其然而不知所以然。下面就来演示如何在windows环境下来编译kafka源码，并通过IntelliJ IDEA开发工具搭建kafka的源码环境，以方便在本地通过debug调试来研究kafka的内部实现机制。 具体步骤： （1） 阅读全文
posted @ 2017-12-05 20:45 xuebusi 阅读(10010) 评论(4) 推荐(1)
SpringBoot整合SpringKafka实现消费者史上最简代码实现
摘要：这是消费端的源码:https://github.com/xuebus/springkafkaconsumer 生产端的代码请求看另一篇博客:https://www.cnblogs.com/jun1019/p/7895746.html 该项目是使用的技术：SpringBoot + SpringKafk 阅读全文
posted @ 2017-11-25 17:17 xuebusi 阅读(32270) 评论(3) 推荐(1)
SpringBoot整合SpringKafka实现生产者史上最简代码实现
摘要：项目源码:https://github.com/xuebus/springkafkaproducer 这是生产者端的代码,消费者请参考另一篇博客: https://www.cnblogs.com/jun1019/p/7895830.html 该项目是使用的技术：SpringBoot + Spring 阅读全文
posted @ 2017-11-25 16:57 xuebusi 阅读(45635) 评论(13) 推荐(1)
kafka消费者如何才能从头开始消费某个topic的全量数据
摘要：消费者要从头开始消费某个topic的全量数据，需要满足2个条件（spring-kafka）： 对应的spring-kafka消费者客户端配置参数为： 注意：从kafka-0.9版本及以后，kafka的消费者组和offset信息就不存zookeeper了，而是存到broker服务器上，所以，如果你为某 阅读全文
posted @ 2017-04-12 19:29 xuebusi 阅读(63964) 评论(0) 推荐(4)
kafka消费者客户端启动之后消费不到消息的原因分析
摘要：如果你发现你的一个消费者客户端A已经启动了，但是就是不消费消息，此时你应该检查一下该消费者所在的组中（ConsumerGroup）是否还有其他的消费者，topic的分区可能被组中其他的消费者线程抢走（负载均衡机制），从而导致消费者客户端A连一个分区都没有得到，自然消费不到消息。 阅读全文
posted @ 2017-04-12 18:11 xuebusi 阅读(4170) 评论(0) 推荐(0)
kafka核心原理与实战PPT[来自网易云]
该文被密码保护。
posted @ 2017-04-12 13:25 xuebusi 阅读(7) 评论(0) 推荐(0)
kafka配置参数详解【收藏】
摘要：3.1 Broker Configs 基本配置如下： -broker.id -log.dirs -zookeeper.connect Topic-level配置以及其默认值将在下面讨论。 Property Default Description broker.id 每个broker都可以用一个唯一的 阅读全文
posted @ 2017-04-01 15:35 xuebusi 阅读(33385) 评论(0) 推荐(4)
kafka-clients-0.10.1.1中关于生产者和消费者配置参数的源码
该文被密码保护。
posted @ 2017-04-01 15:30 xuebusi 阅读(2) 评论(0) 推荐(0)
SpringKafka项目生产者和消费者配置文件备份
该文被密码保护。
posted @ 2017-04-01 15:27 xuebusi 阅读(5) 评论(0) 推荐(0)
关于SpringKafka消费者的几个监听器:[一次处理单条消息和一次处理一批消息]以及[自动提交offset和手动提交offset]
摘要：自己在使用Spring Kafka 的消费者消费消息的时候的实践总结： 下面的消费者继承的是MessageListener这个监听器，就是一次处理一条消息，而且是自动提交offset： 下面的消费者实现的BatchMessageListener这个监听器，就是一次接受一批消息,消息的数量是随机的，但 阅读全文
posted @ 2017-03-28 18:25 xuebusi 阅读(7036) 评论(2) 推荐(2)
通过kafka提供的命令来查看offset消费情况
摘要：使用kafka的bin目录下面的kafka-consumer-groups.sh命令可以查看offset消费情况，注意，如果你的offset是存在kafka集群上的，就指定kafka服务器的地址bootstrap-server： 阅读全文
posted @ 2017-03-28 15:55 xuebusi 阅读(19328) 评论(1) 推荐(0)
解决kafka集群由于默认的__consumer_offsets这个topic的默认的副本数为1而存在的单点故障问题
摘要：抛出问题： 原因分析： 我在笔记本上搭建了kafka集群，共3个Broker，来解决这个问题。下面是一些记录。 说明：如果你的__consumer_offsets这个topic已经被创建了，而且只存在一台broker上，如果你直接使用命令删除这个topic是会报错了，提示这是kafka内置的topi 阅读全文
posted @ 2017-03-28 14:27 xuebusi 阅读(35183) 评论(3) 推荐(2)
发现一个不错的开源项目分享网站[www.programcreek.com]
该文被密码保护。
posted @ 2017-03-28 10:54 xuebusi 阅读(0) 评论(0) 推荐(0)
spring-kafka手动提交offset
摘要：消费者监听类实现AcknowledgingMessageListener这个监听器，可以实现手动提交offset： 阅读全文
posted @ 2017-03-27 21:09 xuebusi 阅读(16120) 评论(0) 推荐(0)
解决老是提示找不到Mapper文件无法执行定义的方法问题！
摘要：尼玛,被mybatis的*Mapper.xml文件害惨了！整整两天都在围绕这个问题转圈！ 先看问题长啥样吧！下面是通过逆向工程生成的Mapper.xml文件，包路径什么的都没有错！ 但是每次调用Mapper中的方法的操作数据库的时候都失败： 贴出来详细的报错信息： 折腾了两天，偶尔在网上见网友如下解 阅读全文
posted @ 2017-03-19 22:46 xuebusi 阅读(17089) 评论(1) 推荐(2)
spring整合kafka项目生产和消费测试结果记录（一）
摘要：使用spring+springMVC+mybatis+kafka做了两个web项目，一个是生产者，一个是消费者。 通过JMeter测试工具模拟100个用户并发访问生产者项目，发送json数据给生产者的接口，生产者将json数据发送到kafka集群， 消费者监听到kafka集群中的消息就开始消费，并将 阅读全文
posted @ 2017-03-19 14:23 xuebusi 阅读(8630) 评论(17) 推荐(4)
SpringKafka生产端配置类ProducerConfig.java源码
摘要：1 /** 2 * Licensed to the Apache Software Foundation (ASF) under one or more contributor license agreements. See the NOTICE 3 * file distributed with this work for additional information re... 阅读全文
posted @ 2017-03-13 10:42 xuebusi 阅读(1463) 评论(0) 推荐(0)
SpringKafka消费端配置类ConsumerConfig.java源码
摘要：如果觉得本文对您有帮助，不妨扫描下方微信二维码打赏点，您的鼓励是我前进最大的动力： 阅读全文
posted @ 2017-03-13 10:42 xuebusi 阅读(5692) 评论(0) 推荐(0)