Loading

2026年1月5日
【大模型】lora微调相关
摘要： 为什么用lora lora微调中参数设置的意义 config = LoraConfig( task_type=TaskType.CAUSAL_LM, target_modules=["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_pr 阅读全文
posted @ 2026-01-05 21:44 SaTsuki26681534 阅读(29) 评论(0) 推荐(0)
【QWen1.5】使用AutoDL多卡对QWen1.5-7B模型进行lora微调
摘要： 过程描述 按教程里的正常流程启动微调后，总会出现cuda out of memory的现象 于是不得不用两个gpu同时训练 这里的代码修改只涉及到设置多gpu进行微调，不涉及量化等 完整微调脚本 import torch from datasets import load_dataset from 阅读全文
posted @ 2026-01-05 20:26 SaTsuki26681534 阅读(16) 评论(0) 推荐(0)
【大模型】大模型微调过程中不同数值精度的模型加载形式
摘要： 你想了解大模型微调过程中不同数值精度的模型加载形式（如半精度FP16、BF16等）的含义、区别，以及它们在实际微调中的应用场景和使用方式，我会从核心概念、各类精度的特点、实操方法三个维度讲清楚，帮你理解为何微调时要选特定的加载精度。 一、核心概念：模型加载精度的本质 大模型的参数本质是浮点数（比如权 阅读全文
posted @ 2026-01-05 16:11 SaTsuki26681534 阅读(36) 评论(0) 推荐(0)
【QWen1.5】 LangChainDeprecationWarning: The function `__call__` was deprecated in LangChain 0.1.7 and will be removed in 0.2.0. Use invoke instead. warn_deprecated(
摘要： BaseLLM.call 方法（即直接调用 LLM 对象）迁移至 invoke 方法 在原来报错的代码中，是用“llm("你是谁")”来调用回复 这种用法会直接调用BaseLLM.call 方法，导致如下报错： /root/miniconda3/lib/python3.10/site-package 阅读全文
posted @ 2026-01-05 11:09 SaTsuki26681534 阅读(2) 评论(0) 推荐(0)