向着朝阳 - 博客园

2026年1月25日

摘要：目录准确度和召回率1️⃣ 准确率（Accuracy）2️⃣ 多标签任务为什么用 F1-score多标签任务特点F1-score3️⃣ Macro-F1 / Micro-F14️⃣ 验证指标示例F1合理范围F1中准确率的计算一、先给一句“人话版”定义二、把公式逐项翻译成“业务语言”1️⃣ TP（Tru 阅读全文

posted @ 2026-01-25 21:02 向着朝阳阅读(30) 评论(0) 推荐(0)

LoRA微调target module设置

摘要：目录原则1️⃣ 注意力 Q/K/V2️⃣ FFN（前馈层）target modules 最佳组合Q/V + 顶层 2~4 层 FFN 配置一、先给你一个“能直接用”的结论版本（以 Qwen / LLaMA 系结构为例）1️⃣ Q / V 的 target modules（必选）2️⃣ 顶层 2~4 阅读全文

posted @ 2026-01-25 17:53 向着朝阳阅读(137) 评论(0) 推荐(0)

LoRA target module 可选参数

摘要：目录一、LoRA 可调目标模块（Target Modules）概览1️⃣ 多头自注意力层（MHA）2️⃣ FFN（前馈网络）3️⃣ Embedding 层4️⃣ 特殊模块（可选）二、选择原则总结三、面试级表述示例明白，你想系统梳理 LoRA 微调时 target modules 可选的参数/矩阵，阅读全文

posted @ 2026-01-25 17:42 向着朝阳阅读(49) 评论(0) 推荐(0)

2026年1月24日

什么时候用Ray架构，什么时候不需要

摘要：目录vllm单机多卡（Ray）部署架构 https://www.cnblogs.com/aibi1/p/195256641️⃣ 小规模 GPU 集群（10–20 张 GPU）2️⃣ 大规模 GPU 集群（几十到上百张 GPU）3️⃣ 小结判断原则4️⃣ 面试表述示例在微服务架构里，Ray 相当于阅读全文

posted @ 2026-01-24 11:34 向着朝阳阅读(20) 评论(0) 推荐(0)

单机多卡TP（Ray）部署架构

摘要：目录null1️⃣ 单机多实例 vs Ray 架构对比2️⃣ Ray 在部署架构中的作用3️⃣ 架构示意（文本版）4️⃣ 核心差异总结用一个query 说明白Ray在里面的工作1️⃣ 场景假设2️⃣ 请求处理流程3️⃣ 核心细节说明在微服务架构里，Ray 相当于 “请求路由组件 + 注册中心 + 阅读全文

posted @ 2026-01-24 11:28 向着朝阳阅读(8) 评论(0) 推荐(0)

vllm单机多卡（无Ray）部署架构

摘要：目录部署架构图1️⃣ 前提条件2️⃣ 多实例部署逻辑3️⃣ 注意事项在单 GPU 服务器上，如果单个 Qwen14B 模型实例需要 2 张 GPU，那么必须启动 4 个独立模型服务，每个服务绑定 2 张 GPU 并监听独立端口。这样才能充分利用 8 张 GPU 的算力，同时保证每个实例的 KV C 阅读全文

posted @ 2026-01-24 11:14 向着朝阳阅读(40) 评论(0) 推荐(0)

异构GPU架构（英伟达+华为升腾等）

摘要：目录异构GPU部署架构一、问题背景二、推荐架构三、架构设计逻辑四、实践注意事项五、工程价值二开的工作分布掌握理解 vLLM 底层源码， LLM 推理核心逻辑、KV Cache 管理、请求分发、batch 处理、TP/PP 支持等掌握其他 GPU / NPU 的规范和 API 学习周期是2-3个月阅读全文

posted @ 2026-01-24 11:08 向着朝阳阅读(29) 评论(0) 推荐(0)

国产GPU和英伟达部署和推理加速区别

摘要：目录1️⃣ 为什么必须学习不同厂商的技术？2️⃣ 学习成本 & 实际策略学习成本实际策略3️⃣ 面试 / 技术表述模板是的，如果你要在国产算力上部署 LLM 推理，几乎不可避免地需要掌握不同厂商的技术栈，原因和逻辑如下： 1️⃣ 为什么必须学习不同厂商的技术？国产 GPU / NPU 各家的硬件阅读全文

posted @ 2026-01-24 10:11 向着朝阳阅读(23) 评论(0) 推荐(0)

LoRA微调-挑战（3）-过拟合

摘要：目录解释：结论过拟合的几张原因的解决办法历史话术上表现很好但是新产品新话术预测明显下降验证集必须是时间切分一、问题本质：随机切分 vs 时间切分1️⃣ 随机切分的做法2️⃣ 时间切分的做法二、为什么时间切分更能发现过拟合三、具体操作方法过拟合的解决过拟合不是“没学好”，而是“学得太具体，泛化不好” 阅读全文

posted @ 2026-01-24 08:54 向着朝阳阅读(76) 评论(0) 推荐(0)

LoRA微调数据准备

摘要：目录适度引入包含错别字和口语表达的样本，作为噪声增强手段一、LoRA 微调数据集准备流程（工程版）Step 0：明确训练目标（非常关键）是否需要上下文。是否引入通用对话❌ 不需要通用对话的典型情况（也是推荐状态）三、什么时候【才需要】少量通用对话？✅ 场景 A：防止 LoRA 过拟合“只认业务词”✅ 阅读全文

posted @ 2026-01-24 08:51 向着朝阳阅读(38) 评论(0) 推荐(0)

aibi1

公告