摘要：
目录一、准备阶段：评估任务 & 数据二、训练观察阶段：小规模试验三、超参调优阶段四、迭代优化策略五、生产级经验总结 核心原则：一次只改一个变量，先确认最重要的容量参数（rank + target module）是否合理，再微调其他超参 在 LoRA 微调初始阶段，我们先用默认值设置 a、dropou 阅读全文
posted @ 2026-01-25 21:50
向着朝阳
阅读(36)
评论(0)
推荐(0)
摘要：
目录准确度和召回率其他指标1. train/num_tokens2. train/mean_token_accuracy3. train/loss4. train/learning_rate5. train/grad_norm6. train/global_step7. train/epoch8. 阅读全文
posted @ 2026-01-25 21:02
向着朝阳
阅读(4)
评论(0)
推荐(0)
摘要：
目录原则1️⃣ 注意力 Q/K/V2️⃣ FFN（前馈层）target modules 最佳组合Q/V + 顶层 2~4 层 FFN 配置一、先给你一个“能直接用”的结论版本（以 Qwen / LLaMA 系结构为例）1️⃣ Q / V 的 target modules（必选）2️⃣ 顶层 2~4 阅读全文
posted @ 2026-01-25 17:53
向着朝阳
阅读(23)
评论(0)
推荐(0)
摘要：
目录一、LoRA 可调目标模块（Target Modules）概览1️⃣ 多头自注意力层（MHA）2️⃣ FFN（前馈网络）3️⃣ Embedding 层4️⃣ 特殊模块（可选）二、选择原则总结三、面试级表述示例 明白，你想系统梳理 LoRA 微调时 target modules 可选的参数/矩阵， 阅读全文
posted @ 2026-01-25 17:42
向着朝阳
阅读(14)
评论(0)
推荐(0)
浙公网安备 33010602011771号