Rola微调关键参数

目录

• 2️⃣ 关键参数

2️⃣ 关键参数

参数	说明	常见取值 / 范例
r	LoRA 的秩，低秩矩阵的大小	4~64（小模型 r 小，大模型 r 可大一些）
alpha	缩放因子，影响 (\Delta W) 的幅度	16、32
dropout	对 LoRA 注入的增量矩阵做 dropout	0~0.1
target modules	选择哪些模块做 LoRA	Transformer 的 q_proj、v_proj 等
fan_in_fan_out	是否交换矩阵维度	True/False，取决于原模型实现

---