2020年12月21日

[Golang] kafka集群搭建和golang版生产者和消费者

摘要: 一、kafka集群搭建 至于kafka是什么我都不多做介绍了,网上写的已经非常详尽了。 (没安装java环境的需要先安装 yum -y install java-1.8.0-openjdk*) 1. 下载zookeeper https://zookeeper.apache.org/releases. 阅读全文

posted @ 2020-12-21 18:24 ExplorerMan 阅读(1178) 评论(0) 推荐(0)

kafka中groupid作用

摘要: topic到group质检是发布订阅的通信方式,即一条topic会被所有的group消费,属于一对多模式;group到consumer是点对点通信方式,属于一对一模式。 举例: 不使用group的话,启动10个consumer消费一个topic,这10个consumer都能得到topic的所有数据, 阅读全文

posted @ 2020-12-21 18:18 ExplorerMan 阅读(13543) 评论(0) 推荐(1)

kafka消息顺序与重复

摘要: kafka消息顺序 我们知道,kafka是一个高性能、分布式容错的消息发布-订阅系统,现在kafka也能处理流数据了。多个生产者在往kafka发送数据的时候,消息的顺序是不能保障的,也就是无序的。 有些场景,比如在用maxwell解析mysql的binlog日志的时候,发送到kafka,后面解析,通 阅读全文

posted @ 2020-12-21 17:37 ExplorerMan 阅读(1236) 评论(0) 推荐(0)

kafka消息顺序与重复

摘要: kafka消息顺序 我们知道,kafka是一个高性能、分布式容错的消息发布-订阅系统,现在kafka也能处理流数据了。多个生产者在往kafka发送数据的时候,消息的顺序是不能保障的,也就是无序的。 有些场景,比如在用maxwell解析mysql的binlog日志的时候,发送到kafka,后面解析,通 阅读全文

posted @ 2020-12-21 17:28 ExplorerMan 阅读(411) 评论(0) 推荐(0)

Kafka的分区策略

摘要: kafka的特性 1.kafka中,写入一个partion照片中的数据是一定有顺序的2.kafka中一个消费者消费一个partion的数据,消费者取出数据时,也是有顺序的 需要顺序的场景 1.数据库中的binlog2.一些业务需要,比如希望把某个订单的数据写入一个partion 为何消息会错乱 1. 阅读全文

posted @ 2020-12-21 17:27 ExplorerMan 阅读(208) 评论(0) 推荐(0)

【分布式事务】的一篇良心之作!

摘要: 写在前面 在分布式、微服务大行其道的今天,相信大家对这些名词都不会陌生。而说到使用分布式,或者拆分微服务的好处,你肯定能想到一大堆。 比如每个人只需要维护自己单独的服务,没有了以前的各种代码冲突。自己想测试、想发布、想升级,只需要care自己写的代码就OK了,很方便很贴心! 然而事物都有两面性,但是 阅读全文

posted @ 2020-12-21 17:06 ExplorerMan 阅读(108) 评论(0) 推荐(0)

如何保证缓存与数据库的数据一致性

摘要: 1 面试题 如何保证缓存与数据库的双写一致性? 2 考点分析 你只要用缓存,就可能会涉及到缓存与数据库双存储双写,你只要是双写,就一定会有数据一致性的问题,那么你如何解决一致性问题? 3 详解 一般来说,就是如果你的系统不是严格要求缓存+数据库必须一致性的话,缓存可以稍微的跟数据库偶尔有不一致的情况 阅读全文

posted @ 2020-12-21 16:52 ExplorerMan 阅读(719) 评论(0) 推荐(0)

30多岁的大龄程序员,应该如何保持职场竞争力

摘要: “ 这篇文章,给大家聊聊Java工程师的职业发展规划的一些思考,同时也给不少20多岁、30多岁,但是对自己的职业未来很迷茫的同学一些建议。 希望通过此文,帮大家梳理一下程序员的职业发展方向,让大家知道自己从20多岁的初出茅庐,到40岁的大龄码农,应该如何规划属于咱们程序员的半生。 首先,咱们通过倒推 阅读全文

posted @ 2020-12-21 16:17 ExplorerMan 阅读(364) 评论(0) 推荐(0)

Kafka acks参数对消息持久化的影响

摘要: (0)写在前面 面试大厂时,一旦简历上写了Kafka,几乎必然会被问到一个问题:说说acks参数对消息持久化的影响? 这个acks参数在kafka的使用中,是非常核心以及关键的一个参数,决定了很多东西。 所以无论是为了面试还是实际项目使用,大家都值得看一下这篇文章对Kafka的acks参数的分析,以 阅读全文

posted @ 2020-12-21 15:59 ExplorerMan 阅读(130) 评论(0) 推荐(0)

Kafka 如何优化内存缓冲机制造成的频繁 GC 问题?

摘要: 目录 1、Kafka的客户端缓冲机制 2、内存缓冲造成的频繁GC问题 3、Kafka设计者实现的缓冲池机制 4、总结一下 “ 这篇文章,给大家聊一个硬核的技术知识,我们通过Kafka内核源码中的一些设计思想,来看你设计Kafka架构的技术大牛,是怎么优化JVM的GC问题的? 1、Kafka的客户端缓 阅读全文

posted @ 2020-12-21 15:52 ExplorerMan 阅读(427) 评论(0) 推荐(0)

Kafka参数调优实战,看这篇文章就够了!

摘要: 1、背景引入:很多同学看不懂kafka参数 今天给大家聊一个很有意思的话题,大家知道很多公司都会基于Kafka作为MQ来开发一些复杂的大型系统。 而在使用Kafka的客户端编写代码与服务器交互的时候,是需要对客户端设置很多的参数的。 所以我就见过很多年轻的同学,可能刚刚加入团队,对Kafka这个技术 阅读全文

posted @ 2020-12-21 15:39 ExplorerMan 阅读(286) 评论(0) 推荐(0)

导航