行远自迩 登高自卑

摘要： 在生产环境中部署大语言模型(LLM)时，把服务跑起来只是第一步，真正的工程挑战在于看懂引擎内部正在发生什么。为什么 GPU 显存显示占满了 90%，吞吐量却上不去？为什么首字延迟(TTFT)突然飙升，而吐字速度(ITL)却很正常？调大某个启动参数后，到底改善了哪个环节，又牺牲了什么？ 在 vLLM 阅读全文

摘要： 深入理解 PromQL: 从 AST 向量求值引擎、时间微积分到 Histogram 分位数底层算法全解 在上一篇中, 我们拆解了 Prometheus 如何通过 Pull 模型抓取数据, 并利用倒排索引与 Gorilla 算法将样本压缩进自定义二进制 TSDB. 但数据落盘只是第一步, 监控系统的 阅读全文

摘要： 深入理解 Prometheus: 从 SDK 埋点、TSDB 底层存储到 PromQL 计算引擎全解析 对于习惯了关系型数据库(MySQL)和常规 RPC/HTTP 服务端开发的后端工程师来说, 初次接触 Prometheus 往往会有一种“割裂感”: 为什么业务代码里调了埋点 API 却抓不到外发 阅读全文

摘要： 大语言模型(LLM)的训练本质上是一个不断试错并自我修正的循环过程. 无论是几十亿参数的 Qwen 还是千亿参数的超大模型, 底层的基本动作都逃不出这四个步骤的循环. 以下是这四个阶段的核心归纳: 模型训练的核心阶段回忆 1. 样本划分 (Data Partitioning) 在这个阶段, 海量的文 阅读全文

摘要： MIT 6.5840 Lab 3: Raft 实现详细笔记 这篇笔记详细整理了 MIT 6.5840 (原 6.824) Lab 3 Raft 算法实现的方方面面. Raft 的核心是将复杂的共识性问题拆分成几个相对独立的子问题: Leader Election(领导者选举)、Log Replica 阅读全文

摘要： 深度解构 Qwen-VL 与 Qwen2-VL 模型：从架构设计到训练演进 多模态大模型的难点: 视觉信息密度高, 但 LLM 上下文预算有限 一张高分辨率图片可切出上千个 Patch, 直接送入 LLM 会导致序列暴涨、显存和时延急剧上升. 这本质是“信息量”与“计算预算”之间的硬约束冲突. 跨模 阅读全文

摘要： Raft 剖析收官之战_日志压缩与 Snapshot (快照) 机制 导语: 在前面五篇文章中, 我们构建了一个堪称完美的分布式强一致性系统. 但如果把这个系统直接推向生产环境, 用不了几个月它就会崩溃. 原因极其简单粗暴: 磁盘被撑爆了. Raft 的核心机制是“日志流”, 随着时间推移, 日志只 阅读全文

摘要： MIT_65840 测试网络环境的搭建与实现 MIT 6.5840 的实验代码把真实网络通信细节封装了起来, 让我们把注意力集中在分布式算法本身. 但从调试和理解整个测试框架的角度看, 测试环境是如何搭起来的同样非常重要. 一开始我只关注了 src/labrpc 中的 RPC、Network、Ser 阅读全文

摘要： Raft 剖析终篇_运行中的跑车换轮胎, 动态成员变更与联合共识 导语: 在前面的四篇文章中, 我们所有的推演都有一个潜在的假设:集群的节点数量和名单是固定不变的. 但在真实的工业环境中, 机器会老化报废、业务会突增需要扩容. 我们需要一种机制, 能在不停机、不影响外部服务的前提下, 将集群从 3 阅读全文

摘要： Raft 深水区探秘_经典极端场景与 Raft 的完美解法 导语: 在前面的文章中, 我们看到 Raft 是如何在 Leader 宕机时力挽狂澜的. 但是, 现实世界往往比单纯的宕机要复杂得多: 网络可能会被切断一半、节点可能会不断重启、甚至会出现跨越好几个任期的"幽灵日志". 今天, 我们将走进 阅读全文