摘要：
最近在公司的数据同步项目（以下简称 ZDTP）中，需要使用到分布式调度数据同步执行单元，目前使用的方案是将数据同步执行单元打包成镜像，使用 K8s 进行调度。 在 ZDTP 中，数据同步的动作可抽象成一个执行单元（以下称为 worker），类似于线程执行单元 Runnable ，Runnable 放 阅读全文
posted @ 2020-08-27 23:10
后端进阶
阅读(2285)
评论(0)
推荐(1)
摘要：
我第一次接触容器编排调度工具是 Docker 自家的 Docker Swarm，主要解决当时公司内部业务项目部署繁琐的问题，我记得当时项目实现容器化之后，花在项目部署运维的时间大大减少了，当时觉得这玩意还挺新鲜的，原来自动化运维可以这么玩。后面由于工作原因，很久没碰过容器方面的知识了。最近在公司的数据同步项目中，需要使用到分布式调度数据同步执行单元，目前使用的方案是将数据同步执行单元打包成镜像，使用 K8s 进行调度，正好趁这个机会了解一下 K8s，下面我就用图解的形式将我所理解的 K8s 分享给大家。 阅读全文
posted @ 2020-08-26 19:46
后端进阶
阅读(5369)
评论(1)
推荐(5)
摘要：
丁老师在他的知识星球邀请我回答以下一个问题： 我觉得这个问题非常有意思，姑且把它贴到公众号这里，与大家分享一下我对这个问题的一些感悟。 感谢丁老师的邀请问答： 在这里我就简单说下，我这段时间参与 Seata 开源项目的一些感悟： 1、如何参与到开源项目中并贡献自己的一份力量？ 我一直都有上 GitH 阅读全文
posted @ 2020-05-18 20:04
后端进阶
阅读(680)
评论(0)
推荐(1)
摘要：
上次跟大家分享的文章「Kafka Producer 异步发送消息居然也会阻塞？」中提到了缓冲池，后面再经过一番阅读源码后，发现了这个缓冲池设计的很棒，被它的设计思想优雅到了，所以忍不住跟大家继续分享一波。 在新版的 Kafka Producer 中，设计了一个消息缓冲池，在创建 Producer 时 阅读全文
posted @ 2020-09-14 21:07
后端进阶
阅读(874)
评论(0)
推荐(1)
摘要：
收到某业务组的小伙伴发来的反馈，具体问题如下： 项目中某 kafka 消息组消费特别慢，有时候在 kafka manager 控制台看到有些消费者已被踢出消费组。 从服务端日志看到如下信息： 该消费组在短时间内重平衡了 600 多次。 从 cat 查看得知，每条消息处理都会有 4 次数据库的交互，经 阅读全文
posted @ 2020-01-07 10:20
后端进阶
阅读(6518)
评论(0)
推荐(0)
摘要：
高可用是很多分布式系统中必备的特征之一，Kafka 日志的高可用是通过基于 leader follower 的多副本同步实现的，每个分区下有多个副本，其中只有一个是 leader 副本，提供发送和消费消息，其余都是 follower 副本，不断地发送 fetch 请求给 leader 副本以同步消息 阅读全文
posted @ 2019-12-27 11:11
后端进阶
阅读(865)
评论(0)
推荐(1)
摘要：
Seata 的动态降级需要结合配置中心的动态配置订阅功能。动态配置订阅，即通过配置中心监听订阅，根据需要读取已更新的缓存值，ZK、Apollo、Nacos 等第三方配置中心都有现成的监听器可实现动态刷新配置；动态降级，即通过动态更新指定配置参数值，使得 Seata 能够在运行过程中动态控制全局事务失 阅读全文
posted @ 2019-12-22 21:50
后端进阶
阅读(815)
评论(0)
推荐(1)
摘要：
前段时间收到某个 Kafka 集群的生产客户端反馈发送消息耗时很高，于是花了一段时间去排查这个问题，最后该集群进行扩容，由于某些主题的当前数据量实在太大，在对这些主题迁移过程中话费了很长一段时间，不过这个过程还算顺利，因为在迁移过程中也做足了各方面的调研，包括分区重平衡过程中对客户端的影响，以及对整 阅读全文
posted @ 2019-12-19 20:41
后端进阶
阅读(2454)
评论(0)
推荐(3)
摘要：
上周客串了一下面试官，在这里就简单记录一下期间我问到的一些关于 Kafka 的面试题目，这些都是我平时在学习 Kafka 的一些总结要点。 谈谈你对 kafka 的整体认识？ 问这个问题主要是想知道面试者对 Kafka 的整体认识如何，能够大致了解清楚面试者对 Kafka 的相关概念的熟悉程度，比如 阅读全文
posted @ 2019-12-17 20:33
后端进阶
阅读(1317)
评论(1)
推荐(2)
摘要：
Seata 可以支持多个第三方配置中心，那么 Seata 是如何同时兼容那么多个配置中心的呢？下面我给大家详细介绍下 Seata 配置中心的实现原理。 配置中心属性加载 在 Seata 配置中心，有两个默认的配置文件： file.conf 是默认的配置属性，registry.conf 主要存储第三方 阅读全文
posted @ 2019-12-16 20:42
后端进阶
阅读(3391)
评论(0)
推荐(1)
浙公网安备 33010602011771号