2025年7月2日
你应该懂的AI大模型（十一）之 LoRA
摘要： 你应该懂的AI大模型（十一）之 LoRA LoRA 是什么​ 传统的大模型微调往往需要更新全部模型参数，这不仅消耗海量计算资源，还容易陷入过拟合陷阱。LoRA 另辟蹊径，采用 “低秩分解” 策略，在不改动原始模型权重的前提下，通过添加两个低秩矩阵（A 和 B）构建参数更新层。在训练过程中，仅对这两个低秩矩阵进行优化，使得可训练参数数量相比全 阅读全文
posted @ 2025-07-02 23:55 BricheersZ 阅读(392) 评论(0) 推荐(0)
你应该懂的AI大模型（十）之 LLamaFactory 之 LoRA微调Llama3
摘要： 你应该懂的AI大模型（十）之 LLamaFactory 之 LoRA微调Llama3 本文标题中说的微调 Llama3指的是局部微调，使用 LLamaFactory 局部微调 LIama3。 一、什么是LLamaFactory LLaMA-Factory 是一个开源的大型语言模型微调框架，全称 Large Language Model Factory1。它致力于简化大模型应用开发流程 阅读全文
posted @ 2025-07-02 23:49 BricheersZ 阅读(669) 评论(0) 推荐(0)