我的随笔

为什么 LoRA 微调“越训练，输出越接近标注数据”

向着朝阳 2026-01-05 23:08 阅读:91 评论:0 推荐:0

在transformer架构里面前向传播和反向传播-lora gradient checkpoint 优化

向着朝阳 2026-01-05 20:58 阅读:285 评论:0 推荐:0

QWEN 14B LoRA微调需要多少显存

向着朝阳 2026-01-05 20:29 阅读:403 评论:0 推荐:0

lora微调，如果不考虑 int4/8 量化，微调后会降低显存占用吗

向着朝阳 2026-01-05 16:41 阅读:158 评论:0 推荐:0

loRA微调loss异常情况分析

向着朝阳 2026-01-05 15:54 阅读:245 评论:0 推荐:0

Lora lr超参设置

向着朝阳 2026-01-05 15:23 阅读:219 评论:0 推荐:0

LoRA dropout超参设置

向着朝阳 2026-01-05 15:04 阅读:336 评论:0 推荐:0

LoRA微调-lora_alpha参数选择

向着朝阳 2026-01-05 11:55 阅读:379 评论:0 推荐:0

vLLM 优化- Pipeline Parallel Transformer block

向着朝阳 2026-01-04 21:42 阅读:146 评论:0 推荐:0

NVLink vs PCIe 性能差异

向着朝阳 2026-01-04 20:55 阅读:675 评论:0 推荐:0