摘要：
一、自动化指标（Automatic Metrics） 自动化指标的核心价值是快速、可复现、零成本。训练过程中每个 checkpoint 都能自动算一轮，不需要人工介入。但代价是——它们只能测"形似"，测不了"神似"。 1.1 Perplexity（困惑度）— 模型自评 类别 内部指标 训练监控首选 阅读全文
posted @ 2026-07-23 22:49
黄艺龙
阅读(0)
评论(0)
推荐(0)
摘要：
1. 原版 LoRA：一切的起点 先花一分钟复习原版 LoRA，后面所有变体都是在这个基础上改的。 全参数微调的问题是：一个 7B 模型，全量训练要 7B × 4 bytes × 各种优化器状态 ≈ 56GB+ 显存。普通人根本跑不动。LoRA 的洞察是：微调时的权重更新矩阵 ΔW 虽然是满秩的，但 阅读全文
posted @ 2026-07-23 22:47
黄艺龙
阅读(2)
评论(0)
推荐(0)
摘要：
一、环境信息（本机实测） 项目 值 操作系统 Ubuntu 22.04.5 LTS GPU NVIDIA Tesla V100-SXM2-16GB 驱动版本 570.195.03 CUDA 12.4 (nvcc V12.4.131) PyTorch 2.4.0+cu118 vLLM dev (cla 阅读全文
posted @ 2026-07-23 22:45
黄艺龙
阅读(1)
评论(0)
推荐(0)
摘要：
一、为什么需要压缩 Llama 3.1 405B FP16 ≈ 810 GB 显存。单张 H100 仅 80 GB。 压缩目标：减少参数量 / 降低精度 / 迁移知识，在精度损失可控的前提下降低部署门槛。 三种核心方法： 方法 原理 适用阶段 剪枝 移除贡献小的权重或神经元 训练后 / 训练中 量化 阅读全文
posted @ 2026-07-23 22:42
黄艺龙
阅读(2)
评论(0)
推荐(0)
摘要：
什么是"多模态"？ 模态（Modality）= 信息的载体形式。文本是一种模态，图像是另一种，音频、视频、心电图（ECG）信号也都是不同的模态。 多模态 AI 的目标是让模型同时理解和关联多种模态——就像人类既会看（视觉）又会听（听觉）还会读（文字），三者互相补充。 模态编码器 多模态模型的核心架构 阅读全文
posted @ 2026-07-23 22:09
黄艺龙
阅读(2)
评论(0)
推荐(0)
摘要：
视觉模型全景图 视觉模型已从单一的分类器演化为完整的感知—理解—生成体系：CNN 骨架 → Transformer 革命 → 多模态大模型统一视觉与语言 层级 代表模型 核心能力 典型场景 骨干网络 ResNet, EfficientNet, ConvNeXt 图像特征提取 所有视觉任务的基座 目标 阅读全文
posted @ 2026-07-23 17:27
黄艺龙
阅读(1)
评论(0)
推荐(0)
摘要：
为什么需要RAG RAG = 检索（Retrieval）+ 增强（Augmented）+ 生成（Generation）。在 LLM 生成回答之前，先从外部知识库检索相关信息，拼接后一起送入模型。 方案知识来源准确性更新成本典型场景 纯 LLM 训练参数中的记忆 幻觉风险高 重新训练/微调 通用对话 阅读全文
posted @ 2026-07-23 16:25
黄艺龙
阅读(1)
评论(0)
推荐(0)
摘要：
为什么需要 MoE 同样的总参数量，MoE 每次推理只激活其中一部分参数——用更少的计算量撬动更大的模型容量。 方案总参数每次推理激活计算量知识容量 Dense 模型 7B 7B 基线 7B 级别 Dense 模型 35B 35B 5× 35B 级别 MoE 模型 35B (含多专家) ~3.6B 阅读全文
posted @ 2026-07-23 15:29
黄艺龙
阅读(1)
评论(0)
推荐(0)
摘要：
通用调参方法论 调参顺序 很多人一上来就调 scheduler、调 optimizer、调各种小参数。这是错的。参数的影响力差距巨大： 影响力排序：learning rate >> effective batch size >> 模型架构参数（LoRA rank 等）>> scheduler / o 阅读全文
posted @ 2026-07-23 08:04
黄艺龙
阅读(1)
评论(0)
推荐(0)
摘要：
坐标轮转法（Coordinate Rotation） 一句话概括：把"同时调 8 个旋钮"的难题，拆成"一次只调 1 个旋钮，调完换下一个，一轮一轮来"。 学术上叫 Cyclic Coordinate Descent 或 Coordinate Rotation。核心思想是：把高维优化问题分解成一维子 阅读全文
posted @ 2026-07-23 07:43
黄艺龙
阅读(4)
评论(0)
推荐(0)
浙公网安备 33010602011771号