摘要：
一、三种核心交付语义深度解析 1. At-Most-Once（至多一次） 本质：尽力交付，不保证数据一定被处理 实现原理： 数据源读取后立即标记为已消费（无论处理是否成功）无重试机制，无状态持久化类似"发后即忘"模式 典型实现： // 伪代码示例：At-Most-Once实现 kafkaConsum 阅读全文
posted @ 2025-09-03 16:51
NeoLshu
阅读(8)
评论(0)
推荐(0)
摘要：
一、问题本质与核心机制 1. 数据丢失的根本原因 Flink 作业重启时可能发生数据丢失的主要原因是处理过程中的状态不一致。当作业失败时，如果处理中的数据没有正确持久化，或者数据源的消费位置没有正确保存，就会导致数据丢失。 无或配置不当有且配置正确数据恢复保障从最近Checkpoint恢复重置数据源 阅读全文
posted @ 2025-09-03 16:48
NeoLshu
阅读(16)
评论(0)
推荐(0)
摘要：
可以完全在 Flink 中完成数据消费、计算加工和结果落库的整个流程，不需要将数据拉到本地服务处理。以下是完整的实现方案： 方案架构 数据源 → Flink(消费+处理) → MySQL 具体实现步骤 1. 添加依赖 首先确保你的 Flink 项目中包含以下依赖（Maven 示例）： <!-- Fl 阅读全文
posted @ 2025-09-03 16:46
NeoLshu
阅读(9)
评论(0)
推荐(0)
摘要：
1. 什么是假阳误判？ 假阳误判（False Positive），或称“误报”，指的是系统错误地报告了某个事件的发生或某个条件的成立，而实际上该事件并未发生或条件并不满足。 其对立面是 假阴误判（False Negative），即系统未能检测到实际发生的事件或成立的条件。 类型含义分布式系统中的例子 阅读全文
posted @ 2025-09-03 15:02
NeoLshu
阅读(7)
评论(0)
推荐(0)
摘要：
分布式系统性能优化与架构演进 系列专题第八篇 · 分布式系统基础指南 一、引言 随着互联网业务规模不断增长，分布式系统面临的挑战愈发复杂，单靠简单的架构或基础优化难以满足高性能要求。 分布式系统优化目标可归纳为： 高吞吐（Throughput）：最大化系统处理能力低延迟（Latency）：快速响应请 阅读全文
posted @ 2025-09-03 14:52
NeoLshu
阅读(8)
评论(0)
推荐(0)
摘要：
分布式事务与最终一致性 系列专题第七篇 · 分布式系统基础指南 一、引言 在大型分布式系统中，跨节点事务一致性面临 网络延迟、节点故障、服务拆分 等问题。 严格遵循 ACID 的 2PC/3PC 在工程上往往成本过高，阻塞严重。 因此，现代分布式系统提出 最终一致性（Eventual Consist 阅读全文
posted @ 2025-09-03 14:28
NeoLshu
阅读(5)
评论(0)
推荐(0)
摘要：
两阶段提交（2PC）与三阶段提交（3PC）协议详解 系列专题第六篇 · 分布式系统基础指南 一、引言 在分布式系统中，一致性问题不仅出现在副本复制（如 Raft、Paxos），也出现在 分布式事务 中。 一个事务可能跨越多个数据库或服务节点，例如： 电商系统中的「下单 → 扣库存 → 扣余额 → 生 阅读全文
posted @ 2025-09-03 14:27
NeoLshu
阅读(11)
评论(0)
推荐(0)
摘要：
ZAB 协议与 ZooKeeper 一致性实现（超详细） 系列专题第五篇 · 分布式系统基础指南 1. 引言与整体认识 ZAB（ZooKeeper Atomic Broadcast） 是 ZooKeeper 的核心一致性协议。它不是通用的“共识算法论文”（如 Paxos/Raft）的另一版，而是为 阅读全文
posted @ 2025-09-03 14:25
NeoLshu
阅读(5)
评论(0)
推荐(0)
摘要：
Raft 算法与工程应用 系列专题第四篇 · 分布式系统基础指南 一、引言 在上一章我们讲解了 Paxos 算法。虽然 Paxos 理论优雅，但实现复杂，工程化难度高。 为了解决这个问题，Diego Ongaro 在 2014 年提出了 Raft 算法，它与 Paxos 拥有相同的一致性保证，但设计 阅读全文
posted @ 2025-09-03 14:20
NeoLshu
阅读(5)
评论(0)
推荐(0)
摘要：
Paxos 算法与分布式一致性协议详解 系列专题第三篇 · 分布式系统基础指南 一、引言 在 CAP 定理中我们提到，如果系统选择 一致性 © 和 分区容忍性 §，就会牺牲部分可用性。 那么，如何在分布式系统里实现「一致性」？ 这就是 共识协议 (Consensus Protocol) 要解决的问题 阅读全文
posted @ 2025-09-03 14:18
NeoLshu
阅读(11)
评论(0)
推荐(0)
摘要：
CAP 定理与 BASE 理论详解 系列专题第二篇 · 分布式系统基础指南 一、引言 在分布式系统的世界里，一致性、可用性、分区容忍性 是绕不开的三大主题。 当系统规模扩展到多节点、多数据中心，网络延迟、消息丢失、节点宕机成为常态，我们必须在这三者之间做出权衡。 CAP 定理 正是描述这种权衡的基础 阅读全文
posted @ 2025-09-03 14:17
NeoLshu
阅读(10)
评论(0)
推荐(0)
摘要：
分布式系统基础指南 全面、专业、可视化的分布式系统入门与进阶 1. 引言 在当今互联网时代，单机计算能力的增长已难以满足大规模应用的需求。于是，分布式系统成为业界主流：通过 多台计算机协同工作，像一台超级计算机一样为用户提供服务。 然而，分布式系统的设计并非易事。一致性、容错、扩展性 的权衡，是分布 阅读全文
posted @ 2025-09-03 14:09
NeoLshu
阅读(12)
评论(0)
推荐(0)
浙公网安备 33010602011771号