向着朝阳 - 博客园

2026年1月5日

摘要：目录一句话结论一、LoRA dropout 到底在防什么二、工程上最常用的配置区间（直接用）三、什么时候“千万别开” dropout四、一个非常实用的工程判断法五、面试 / 评审级一句话 LoRA dropout 是小样本下的正则化手段，通常 0～0.1 即可；数据足够干净时，直接设为 0 是最稳定阅读全文

posted @ 2026-01-05 15:04 向着朝阳阅读(138) 评论(0) 推荐(0)

LoRA微调-lora_alpha参数选择

摘要：目录一、lora_alpha 在数学上到底干了什么换句话说三、什么时候 α = 2r 是合理的四、什么时候不应该用 α = 2r1. r 很大（≥64）2. 数据噪声大 / 标签不干净3. 做的是“知识注入型任务”五、工程上更“正确”的设置方式（推荐）不要问 “α 该不该等于 2r”一个实用表（阅读全文

posted @ 2026-01-05 11:55 向着朝阳阅读(114) 评论(0) 推荐(0)

2026年1月4日

vLLM 优化- Pipeline Parallel Transformer block

摘要：目录一、Transformer Block 的基本结构二、多个 Transformer Block三、Pipeline Parallel 里的作用四、类比理解五、总结一句话block0 和 block1有什么不同一、单个 Transformer block 的功能二、为什么要堆叠多个 block三、阅读全文

posted @ 2026-01-04 21:42 向着朝阳阅读(48) 评论(0) 推荐(0)

NVLink vs PCIe 性能差异

摘要：目录1️⃣ NVLink vs PCIe 性能差异PCIe（Peripheral Component Interconnect Express）NVLink2️⃣ NVLink 的工作原理3️⃣ 对 LoRA 微调的影响明白，你问的核心是 GPU 间互联性能对比 NVLink 和 PCIe，以及阅读全文

posted @ 2026-01-04 20:55 向着朝阳阅读(250) 评论(0) 推荐(0)

高端GPU的Pipeline Parallel和KV Cache是什么

摘要：目录一、Tensor Parallel（张量并行）是什么？1️⃣ 它解决什么问题？2️⃣ 为什么通信这么频繁？3️⃣ 为什么在消费级卡上“⚠️（可用但效率低）”？二、Pipeline Parallel（流水线并行）是什么？1️⃣ 它解决什么问题？2️⃣ Pipeline 的关键成本是什么？3️⃣ 为阅读全文

posted @ 2026-01-04 20:54 向着朝阳阅读(86) 评论(0) 推荐(0)

多机多卡部署推理加速学习路径

摘要：目录大模型多机多卡 & vLLM 推理加速学习计划（工程向）总周期：约 2–3 周（全职学习）各阶段详细拆解（你每天该干什么）阶段 0：认知校准（Day 0–1）阶段 1：单机单卡 vLLM（Day 1–2）阶段 2：单机多卡（Day 3–4）阶段 3：多机多卡基础（Day 5–7）🔥核心阶段阶段阅读全文

posted @ 2026-01-04 18:50 向着朝阳阅读(64) 评论(0) 推荐(0)

多机多卡消费级显卡实战

摘要：目录一、为什么这个思路是“工程上成立的”1️⃣ 多机多卡的“难点”不在 H1002️⃣ vLLM 对 GPU 的依赖是“能力级”，不是“型号级”二、什么是“可以学的”，什么是“学不到的”✅ 用消费级卡完全可以学会的⚠️ 用消费级卡学不到或学不全的三、你这个“迁移给大模型改代码”的想法是否靠谱？结论：阅读全文

posted @ 2026-01-04 18:34 向着朝阳阅读(50) 评论(0) 推荐(0)

消费集显卡集群生产部署策略

摘要：目录为什么消费级显卡“不适合生产级多机多卡”？❌ 2. 无 ECC，长时间高负载不稳定❌ 3. NCCL + TCP 在高并发下容易抖动四、那什么时候消费级显卡是“合理选择”？✅ 合理使用边界❌ 不推荐边界五、消费卡“唯一相对可行”的部署模式（如果你非用不可）正确姿势：为什么消费级显卡“不适合生产阅读全文

posted @ 2026-01-04 18:30 向着朝阳阅读(31) 评论(0) 推荐(0)

大模型调优步骤

摘要：目录1️⃣ GPU选择（基础算力层）2️⃣ 模型精度优化（FP16 / BF16）3️⃣ 内存与缓存优化（vLLM / KV cache 分页）4️⃣ 初步评测（吞吐量 / 精度 / 成本）5️⃣ 可选 INT8 / INT4 量化**1️⃣ FP16 / BF16 精度优化的实现原理和实操2️⃣ 阅读全文

posted @ 2026-01-04 17:24 向着朝阳阅读(44) 评论(0) 推荐(0)

英伟达GPU如何选型

摘要：目录一、主要系列简介（用于理解命名与定位）1) 数据中心核心系列（AI/HPC）二、对比视角：何时选用哪种显卡1. H 系列（如 H100 / H200）——高端 AI 训练与低延迟推理2. A 系列（如 A100 / A800）——老牌 AI 与 HPC 通用平台3. L 系列（如 L40S / 阅读全文

posted @ 2026-01-04 16:48 向着朝阳阅读(208) 评论(0) 推荐(0)

aibi1

公告