2024年4月19日
LLM-05 大模型 15分钟 FineTuning 微调 ChatGLM3-6B（微调实战1） 官方案例 3090 24GB实战 需22GB显存 LoRA微调 P-TuningV2微调 原创
摘要： 续接上节 我们的流程走到了，环境准备完毕。 装完依赖之后，上节结果为： 介绍LoRA LoRA原理 LoRA的核心思想是在保持预训练模型的大部分权重参数不变的情况下，通过添加额外的网络层来进行微调。这些额外的网络层通常包括两个线性层，一个用于将数据从较高维度降到较低维度（称为秩），另一个则是将其从低 阅读全文
posted @ 2024-04-19 13:05 武子康 阅读(0) 评论(0) 推荐(0)