随笔分类 -  分布式系列

分布式存储
摘要：从零开始深入理解存储引擎 -- 腾讯技术工程（推荐），包单机存储（索引，ssTable、LSM Tree、WAL解决日志丢失）、复制（主从复制及延迟问题）、分片等知识点 https://cloud.tencent.com/developer/article/2442872 阅读全文
posted @ 2025-01-10 17:59 飞翔在天 阅读(8) 评论(0) 推荐(0)
【分布式ID】
摘要：方案一：独立数据库自增 ID 这个方案就是说你的系统每次要生成一个 ID，都是往一个独立库的一个独立表里插入一条没什么业务含义的数据，然后获取一个数据库自增的一个 ID。拿到这个 ID 之后再往对应的分库分表里去写入。比如说你有一个 auto_id 库，里面就一个表，叫做 auto_id 表，有一个 阅读全文
posted @ 2024-12-18 17:10 飞翔在天 阅读(36) 评论(0) 推荐(0)
【消息队列】技术关注点
摘要：消息队列作用：解耦、异步、削峰（大促） 引入的问题： 如何保证消息的高可用 如何保证消息消费的幂等性 如何处理消息丢失问题 如何保证消息的顺序性 如何解决消息积压 如何保持数据一致 需关注的技术实现： 1、存储模型：如何快速的读写 阅读全文
posted @ 2023-05-25 19:45 飞翔在天 阅读(14) 评论(0) 推荐(0)
【Pulsar】
摘要：源自Yahoo 2012，2017开源 特点： 支持多租户 租户和命名空间（namespace）是 Pulsar 支持多租户的两个核心概念。 在租户级别，Pulsar 为特定的租户预留合适的存储空间、应用授权与认证机制。 在命名空间级别，Pulsar 有一系列的配置策略（policy），包括存储配额 阅读全文
posted @ 2023-05-25 15:51 飞翔在天 阅读(107) 评论(0) 推荐(0)
【分布式事务】TCC改造
摘要：转载自：https://mp.weixin.qq.com/s/8TUXkxJwDTEInYtITboeVQ 注意事项： 空回滚： 悬挂： 幂等控制： 业务数据并发访问控制：TCC的一阶段Try预留资源后，二阶段操作前，预留的资源不会被释放；如果此时其他分布式事务尝试修改相关资源，会出现分布式事务的并 阅读全文
posted @ 2023-05-16 17:08 飞翔在天 阅读(91) 评论(0) 推荐(0)
【分布式事务】解决方案
摘要：强一致性 2PC 说到2PC就不得不聊数据库分布式事务中的 XA Transactions。 在XA协议中分为两阶段: 第一阶段：事务管理器要求每个涉及到事务的数据库预提交(precommit)此操作，并反映是否可以提交. 第二阶段：事务协调器要求每个数据库提交数据，或者回滚数据。 优点： 尽量保证 阅读全文
posted @ 2023-05-16 17:05 飞翔在天 阅读(41) 评论(0) 推荐(0)
【RocketMQ】
摘要：原理（含存储模型）：https://posts.careerengine.us/p/645d90d25d7c35164becfee3?from=latest-posts-panel&type=title 阿里官方开发团队解析RocketMQ 5.0： https://edu.aliyun.com/c 阅读全文
posted @ 2023-05-12 17:34 飞翔在天 阅读(32) 评论(0) 推荐(0)
【分布式事务】阿里Seata(GTS)
摘要：推荐： https://www.sofastack.tech/blog/seata-distributed-transaction-deep-dive/ Seata 分布式事务实践和开源详解（各种XA/TCC/saga等） https://segmentfault.com/a/11900000437 阅读全文
posted @ 2022-12-10 18:13 飞翔在天 阅读(108) 评论(0) 推荐(0)
【Kafka】生产调优与面试题
摘要：Kafka万亿级消息实战！（包含各种业务应用场景举例） https://blog.51cto.com/u_15047392/4872419 上亿数据量下，Kafka是如何优化JVM GC问题的？ https://blog.51cto.com/u_15009384/2566936 搞定这8个Kafka 阅读全文
posted @ 2022-06-22 23:35 飞翔在天 阅读(69) 评论(0) 推荐(0)
【分布式锁】
摘要：一、分布式锁应用场景： 效率：使用分布式锁可以避免不同节点重复相同的工作，这些工作会浪费资源。比如用户付了钱之后有可能不同节点会发出多封短信。 // 比如确保集群只有一个节点获取锁，同步数据到Redis缓存 正确性：加分布式锁同样可以避免破坏正确性的发生，如果两个节点在同一条数据上面操作，比如多个节 阅读全文
posted @ 2021-09-09 09:58 飞翔在天 阅读(247) 评论(0) 推荐(0)
【Kafka】理论
摘要：参考：https://www.cnblogs.com/rickiyang/p/11074194.html http://kafka.apache.org/quickstart http://kafka.apache.org/documentation zookeeper作用 cloud.tencen 阅读全文
posted @ 2021-02-03 10:30 飞翔在天 阅读(106) 评论(0) 推荐(0)
【Kafka】启动&配置文件
摘要：基本测试 客户端工具：kafka tool 使用参考： https://www.cnblogs.com/miracle-luna/p/11299345.html 1、安装JDK 2、安装Zookeeper 由于Kafka的运行依赖于Zookeeper，所以在运行Kafka之前需要安装并运行Zooke 阅读全文
posted @ 2020-07-30 20:10 飞翔在天 阅读(458) 评论(0) 推荐(0)
【分布式事务】基本原理（含不同模式的简单对比）
摘要：更详细：参考 https://blog.csdn.net/alitech2017/article/details/106404701/ 阿里云 如何选择分布式事务解决方案？ 分布式事务概述与项目实战 https://www.sohu.com/a/750992251_100093134?scm=110 阅读全文
posted @ 2019-12-10 23:17 飞翔在天 阅读(694) 评论(0) 推荐(0)