摘要:一、 架构深度解析:异地多活的“分而治之” 这个架构的核心思想是单元化(Cell-Based)设计。整个系统被划分为多个独立的“单元格”,每个单元格内包含完整的业务逻辑处理能力。 1. 流量的“单元化”路由(核心机密) 页面顶部的“设置用户ID”是理解这个架构的关键。在真实的异地多活系统中,通常会对
阅读全文
摘要:容器服务混沌工程实践 https://www.bilibili.com/video/BV1kZ4y1v7Vr/?spm_id_from=333.337.search-card.all.click&vd_source=98f3349ab95218044e2c42b526a191ca E:\10 运维研
阅读全文
摘要:https://www.bilibili.com/video/BV1MQ4y1u7Bt?spm_id_from=333.788.videopod.episodes&vd_source=98f3349ab95218044e2c42b526a191ca&p=5 MySQL Replication(主从复
阅读全文
摘要:ChaosBlade可针对多达7个场景开展故障注入实验,但网上官方的中英文文档质量欠佳,内容缺失,真心没有站在一般用户的角度来写,只能通过运行blade命令的help了解究竟有什么功能。 官网 https://github.com/chaosblade-io/chaosblade 一句话介绍 Cha
阅读全文
摘要:ChaosBlade 在工商银行混沌工程体系中的应用实践 互联网金融时代下,金融产品和服务模式不断创新,交易量大幅攀升。面对互联网金融的全新发展态势,传统的单体 IT 架构暴露出很多不适应的地方,为此业界广泛应用云计算、分布式等新技术,构建分布式架构和运维体系,以支撑金融业务的快速发展。这些新技术的
阅读全文
摘要:这张图片详细记录了一次针对 Java 应用程序的JVM 故障注入实验。实验的核心目的是通过人为制造 JVM CPU 满载 和 内存溢出(OOM),来验证分布式系统在极端条件下的容错能力和监控系统的有效性。 以下是图片中各个具体操作命令的详细含义分析: 1. 环境准备与故障注入准备阶段 命令 1:p
阅读全文
摘要:图片展示了使用 ChaosBlade 工具对本地 8080 端口服务进行网络丢包故障注入的命令行操作。红框圈出的命令将该端口的丢包率从 60% 提升到了 90%。 bash blade create network loss --percent 90 --interface eth0 --local
阅读全文
摘要:这是一次典型的数据库端延迟(Network Delay + Database Query Delay)混沌实验。与之前讨论的磁盘写满不同,这次故障发生在核心依赖的中间件层,其爆炸半径和影响面往往更广,因此对可观测性的依赖也更高。 一、 场景深度剖析:当 MySQL “慢”下来会发生什么? 执行的命令
阅读全文
摘要:在混沌工程的实践中,“磁盘写满导致只读属性”是一个非常经典且具有破坏力的场景。这个场景直接模拟了线上因异常日志打印引发的雪崩效应(服务崩溃 -> 疯狂写日志 -> 磁盘满 -> 服务变为只读无法写入 -> 彻底不可用)。 结合可观测性平台的建设需求,以下是针对该场景的深度解析及管控闭环建议: 一、
阅读全文
摘要:终端日志展示了使用 Chaosblade(blade 命令)进行混沌工程实验的完整操作流程,核心演示了如何制造故障以及如何恢复系统,体现了对“最小化爆炸半径”原则的落地。 1. 故障注入:CPU 满载实验 bash blade create cpu fullload 作用机制:该命令指示 Chaos
阅读全文
摘要:转载自博客:https://www.bilibili.com/video/BV1fK421h7Z7?spm_id_from=333.788.videopod.sections&vd_source=98f3349ab95218044e2c42b526a191ca
阅读全文