07 2025 档案

使用xtener微调模型Qwen1.5-1.8B-Chat
摘要：1.构建虚拟环境 conda create --name xtuner-env python=3.10 -y conda activate xtuner-env 拉取xtener git clone https://github.com/InternLM/xtuner.git 然后安装依赖的软件，这 阅读全文
posted @ 2025-07-15 21:19 傲云萧雨 阅读(79) 评论(0) 推荐(0)
llamafactory0.9.1dev版本
摘要：1、创建虚拟环境 conda create --name lora python=3.10.8 2、pytorch版本pip install torch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 --index-url https://download 阅读全文
posted @ 2025-07-13 15:43 傲云萧雨 阅读(40) 评论(0) 推荐(0)
llamafactory配置
摘要：1、训练注意参数 2、导出量化参数： 3、验证注意参数 4、微调deepseekR1-Qwen-1.5B使用vllm在llamafactory推理结果跟单独使用vllm推理模型的效果不一致： 原因是因为是提示词模板不一致 构建jinjia后缀的提示词模板 # mytest.py import sys 阅读全文
posted @ 2025-07-13 14:01 傲云萧雨 阅读(84) 评论(0) 推荐(0)
linux安装miniconda
摘要：1、下载miniconda wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh 2、安装 bash Miniconda3-latest-Linux-x86_64.sh 3、从安装路径默认是 /root/ 阅读全文
posted @ 2025-07-12 18:03 傲云萧雨 阅读(157) 评论(0) 推荐(0)
使用llamafactory遇到的坑
摘要：1、可以训练模型，加载模型，报错，老是提示缺少transformers.model或其他子包 无论怎么改变transformers的版本都无效，原因在于远程环境的python是3.9.0，解决方式，建立虚拟环境，3.10.0 pytorch2.1.0 python3.10 cuda 12.1 2、量 阅读全文
posted @ 2025-07-12 00:50 傲云萧雨 阅读(76) 评论(0) 推荐(0)
训练4090的24GB跟2080TI魔改22G速度对比
摘要：1、4090速度，平均30s一步 2、魔改2080速度，平均6分钟一步 速度为12倍。 阅读全文
posted @ 2025-07-12 00:01 傲云萧雨 阅读(125) 评论(0) 推荐(0)
安装auto-gptq注意版注意cuda版本和pytoch
摘要：总体： 阅读全文
posted @ 2025-07-11 20:43 傲云萧雨 阅读(31) 评论(0) 推荐(0)
llamaFactory 安装包冲突
摘要：1、vllm和gptq会冲突，先安装gptq，再批量安装剩下的包。 阅读全文
posted @ 2025-07-10 20:52 傲云萧雨 阅读(24) 评论(0) 推荐(0)