LoRA配置

要修改可训练参数比例，您需要调整LoRA配置。以下是几种方法来增加或减少可训练参数比例：

1. 调整LoRA配置参数

增加可训练参数比例的方法：

from peft import LoraConfig

# 方法1: 增加LoRA秩(rank)
lora_config = LoraConfig(
r=64, # 增加rank (默认16) - 这会显著增加参数数量
lora_alpha=128, # 通常设为r的2倍
target_modules=["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj"],
lora_dropout=0.05,
bias="none",
task_type="CAUSAL_LM",
)

# 方法2: 增加目标模块
lora_config = LoraConfig(
r=16,
lora_alpha=32,
target_modules=[ # 增加更多目标模块
"q_proj", "k_proj", "v_proj", "o_proj",
"gate_proj", "up_proj", "down_proj",
"embed_tokens", "lm_head" # 添加嵌入层和输出层
],
lora_dropout=0.05,
bias="none",
task_type="CAUSAL_LM",
)

# 方法3: 训练偏置参数
lora_config = LoraConfig(
r=16,
lora_alpha=32,
target_modules=["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj"],
lora_dropout=0.05,
bias="all", # 训练所有偏置参数 (默认是"none")
task_type="CAUSAL_LM",
)

减少可训练参数比例的方法：

# 方法1: 降低LoRA秩(rank)
lora_config = LoraConfig(
r=8, # 降低rank (默认16)
lora_alpha=16,
target_modules=["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj"],
lora_dropout=0.05,
bias="none",
task_type="CAUSAL_LM",
)

# 方法2: 减少目标模块
lora_config = LoraConfig(
r=16,
lora_alpha=32,
target_modules=[ # 减少目标模块
"q_proj", "v_proj" # 只选择关键的注意力模块
],
lora_dropout=0.05,
bias="none",
task_type="CAUSAL_LM",
)

2. 不同配置的预期效果

配置	可训练参数估计	内存使用	训练时间	预期性能
r=8, 少模块	~4M (0.8%)	低	快	中等
r=16, 标准	~9M (1.8%)	中低	中等	良好
r=32, 多模块	~20M (4%)	中	慢	更好
r=64, 全模块	~40M (8%)	高	慢	最佳

3. 实际修改示例

from peft import LoraConfig, get_peft_model
from transformers import AutoModelForCausalLM

# 加载基础模型
model = AutoModelForCausalLM.from_pretrained(
model_name,
device_map={"": "cpu"},
torch_dtype=torch.float32,
low_cpu_mem_usage=True,
trust_remote_code=True
)

# 配置1: 更高的可训练参数比例 (~4-5%)
lora_config_high = LoraConfig(
r=32, # 增加rank
lora_alpha=64,
target_modules=[
"q_proj", "k_proj", "v_proj", "o_proj",
"gate_proj", "up_proj", "down_proj",
"embed_tokens", "lm_head"
],
lora_dropout=0.1,
bias="all", # 包含偏置参数
task_type="CAUSAL_LM",
)

# 配置2: 更低的可训练参数比例 (~0.8-1%)
lora_config_low = LoraConfig(
r=8, # 减少rank
lora_alpha=16,
target_modules=["q_proj", "v_proj"], # 减少模块
lora_dropout=0.05,
bias="none",
task_type="CAUSAL_LM",
)

# 应用配置
model = get_peft_model(model, lora_config_high) # 或 lora_config_low
model.print_trainable_parameters()

4. 选择建议

如果您希望：

• 更快训练/更低内存: 使用低参数配置 (r=8, 少模块)
• 更好性能: 使用高参数配置 (r=32-64, 多模块)
• 平衡选择: 使用标准配置 (r=16, 标准模块)

注意事项：

1. CPU限制: 在CPU上训练时，建议使用较低的参数配置
2. 内存监控: 增加参数会增加内存使用，注意监控系统资源
3. 训练时间: 参数越多，训练时间越长
4. 过拟合风险: 参数过多可能导致过拟合，需要适当正则化

您可以根据您的硬件条件和性能需求选择合适的配置。