摘要:
本文总结了Kafka KRaft模式的基本概念和优点,介绍了Kafka KRaft模式的部署过程。基于KRaft模式,我们不再需要依赖Zookeeper进行元数据管理和共识服务,在技术选型时不再需要引入额外的组件,对于Kafka来说,实在是个好消息。 阅读全文
本文总结了Kafka KRaft模式的基本概念和优点,介绍了Kafka KRaft模式的部署过程。基于KRaft模式,我们不再需要依赖Zookeeper进行元数据管理和共识服务,在技术选型时不再需要引入额外的组件,对于Kafka来说,实在是个好消息。 阅读全文
posted @ 2022-07-25 17:10
EdisonZhou
阅读(3325)
评论(0)
推荐(0)

Offset,消息位移,它表示分区中每条消息的位置信息,是一个单调递增且不变的值。换句话说,offset可以用来唯一的标识分区中每一条记录。本文总结了offset的基础概念、存储位置、消费方式,扩展了两个常见问题:漏消费与重复消费,引出了一个消费数据积压问题,希望能对你有所帮助!
Kafka默认提供了多个命令行脚本,用于实现各种各样的功能和运维管理。从2.2版本开始,提供了多达30+个Shell脚本。本文总结了Kafka提供的两组最常用也最实用的工具Shell脚本,分别cover了测试生产和消费,以及 压测生产和消费 的两个场景,希望对你有所帮助。
流处理给人的印象是低延时,但是结果可能不太精确。而批处理则相反,它能提供精确的结果,但是往往存在高时延。本文总结了Kafka Streams的基本概念与执行流程,并结合Kafka Streams .NET客户端给出了一个Kafka Streams应用程序的示例。
通常来说,任何系统调优的目标都是为了满足系统常见的非功能性需求,而性能则是众多非功能性需求中最重要的一个。不同的系统对性能的侧重点不同,DB的话性能是响应时间,而对于Kafka等MQ来说,则意味着吞吐量和延时。本文总结了Kafka调优的目的和方法论,并直接给出了调优Kafka的关键参数配置,可以直接用于生产环境。
在实际环境中,用户似乎总是愿意用较小的延时增加的代价,去换取 TPS 的显著提升。毕竟,从 2ms 到 10ms 的延时增加通常是可以忍受的。本文介绍了提高producer吞吐量 与 提高消息可靠性 的实践,重点介绍了在Confluent.Kafka组件下如何进行配置的代码实践,相信会对你有所帮助。
集群部署“兵马未动,粮草先行”,与其盲目上马一套Kafka环境然后事后费力调整,不如一开始就思考好实际场景下业务所需的集群环境。本文从Kafka集群众多的参数配置项选取了一些特别特别重要的参数配置做了介绍,相信了解这些参数配置之后,对于我们后续优化Kafka集群配置会大有裨益。
作为一个.NET Developer,自然想要在.NET项目中集成Kafka实现发布订阅功能。本文总结了.NET Core如何通过对应客户端操作Kafka,基于Confluent.Kafka项目和CAP项目可以方便的实现发布订阅的效果。
本文总结了Kafka的测试环境搭建过程,本文选择的是基于Docker来搭建非宿主机直接搭建,加之官方并没有推出官方的Docker镜像,因此建议生产环境还是不要通过Docker来搭建,开发/测试环境是可以的,快速且高效。
本篇会聚焦于Kafka的基础概念部分,带你理解Kafka的基本术语。如果本文只能汇总成一句话,那应该是:Apache Kafka 是消息引擎系统,也是一个分布式流处理平台。
在去年学习《MongoDB高手课》的途中,我总结了一个系列的MongoDB入门实战教程,现在我将它分类整理成一个学习路线图。它涵盖了认识与安装MongoDB、使用MQL、基于MongoDB的应用开发、MongoDB深入、高可用与高性能等核心主题,助你构建MongoDB的知识体系。
2022年5月7日晚,在成都市高新区孵化园旁的大蓉和拉德芳斯店,2022成都.NET开发者Connect线下活动圆满结束,来自成都地区东南西北的23位.NETer(男女程序员都有)汇聚一堂,面基交流,吃饭畅聊,并进行了合影留念。
最近公司开始一股年终总结浪潮,看着同事们写大作文式的“内卷”总结,我不禁在想我这一年做了什么,那么也就有了这篇总结推文,当然它也是我每年的习惯。
Edison作为团队内部敏捷教练,这是我正式辅导的第一个Scrum Master童鞋(花名:大师兄)的敏捷迭代实践总结,在互联网公司做敏捷转型,难而正确!
今年加入了一家建筑产业互联网平台企业,公司刚好也开始借鉴阿里的职级体系。对于从来没有在互联网企业呆过的我,对于职级体系还比较陌生,刚好华仔的这门课《大厂晋升指南》推出(曾经购入了华仔的另一门课《从零开始学架构》,收获很大),于是我就购入学习了一下。现在总结成学习笔记分享与你,本文是第三篇。
今年加入了一家建筑产业互联网平台企业,公司刚好也开始借鉴阿里的职级体系。对于从来没有在互联网企业呆过的我,对于职级体系还比较陌生,刚好华仔的这门课《大厂晋升指南》推出(曾经购入了华仔的另一门课《从零开始学架构》,收获很大),于是我就购入学习了一下。现在总结成学习笔记分享与你,本文是第二篇。
今年加入了一家建筑产业互联网平台企业,公司刚好也开始借鉴阿里的职级体系。对于从来没有在互联网企业呆过的我,对于职级体系还比较陌生,刚好华仔的这门课《大厂晋升指南》推出(曾经购入了华仔的另一门课《从零开始学架构》,收获很大),于是我就购入学习了一下。现在总结成学习笔记分享与你,本文是第一篇。
不知道你有没有在.NET Core/.NET 5的Docker访问MS SQL Server数据库,如果有,那么很有可能会遇到这个错误。
在Windows Container中,没有写日志的情况下,如何排查系统的异常信息?本文介绍了如何在Windows Container中通过事件日志排查ASP.NET应用程序的异常日志信息,虽然文章很短小,但希望对你有用。对于传统.NET 4.x应用的容器化迁移,我们也还在探索,相信探索和实践的深入,我会分享更多相关的内容。
前面几篇都是基于阿里云ECS直接玩的,有童鞋问直接用Windows Server 2019可以玩不,本篇就为你介绍一下如何给Windows Server 2019配置Docker环境。本文介绍了如何在本地的Windows Server 2019服务器上安装和配置Docker环境,最后演示了一下ASP.NET应用的基本容器操作。
浙公网安备 33010602011771号