随笔分类 -  AI学习

Ai复习
摘要：1、目前比较好的向量模型是openAI的收费的，开源好用的Qwen3 embedding模型。 MTEB是一个公共的embedding测试集合 向量库：chroma，Milvus，Faiss, Weaviate 2、向量基于双塔模型训练 3、向量怎么计算 4、rag系统基本模型 5、改进切 文本的方 阅读全文
posted @ 2025-11-01 22:32 傲云萧雨 阅读(5) 评论(0) 推荐(0)
使用xtener微调模型Qwen1.5-1.8B-Chat
摘要：1.构建虚拟环境 conda create --name xtuner-env python=3.10 -y conda activate xtuner-env 拉取xtener git clone https://github.com/InternLM/xtuner.git 然后安装依赖的软件，这 阅读全文
posted @ 2025-07-15 21:19 傲云萧雨 阅读(74) 评论(0) 推荐(0)
llamafactory0.9.1dev版本
摘要：1、创建虚拟环境 conda create --name lora python=3.10.8 2、pytorch版本pip install torch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 --index-url https://download 阅读全文
posted @ 2025-07-13 15:43 傲云萧雨 阅读(40) 评论(0) 推荐(0)
llamafactory配置
摘要：1、训练注意参数 2、导出量化参数： 3、验证注意参数 4、微调deepseekR1-Qwen-1.5B使用vllm在llamafactory推理结果跟单独使用vllm推理模型的效果不一致： 原因是因为是提示词模板不一致 构建jinjia后缀的提示词模板 # mytest.py import sys 阅读全文
posted @ 2025-07-13 14:01 傲云萧雨 阅读(76) 评论(0) 推荐(0)
linux安装miniconda
摘要：1、下载miniconda wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh 2、安装 bash Miniconda3-latest-Linux-x86_64.sh 3、从安装路径默认是 /root/ 阅读全文
posted @ 2025-07-12 18:03 傲云萧雨 阅读(140) 评论(0) 推荐(0)
使用llamafactory遇到的坑
摘要：1、可以训练模型，加载模型，报错，老是提示缺少transformers.model或其他子包 无论怎么改变transformers的版本都无效，原因在于远程环境的python是3.9.0，解决方式，建立虚拟环境，3.10.0 pytorch2.1.0 python3.10 cuda 12.1 2、量 阅读全文
posted @ 2025-07-12 00:50 傲云萧雨 阅读(69) 评论(0) 推荐(0)
训练4090的24GB跟2080TI魔改22G速度对比
摘要：1、4090速度，平均30s一步 2、魔改2080速度，平均6分钟一步 速度为12倍。 阅读全文
posted @ 2025-07-12 00:01 傲云萧雨 阅读(116) 评论(0) 推荐(0)
安装auto-gptq注意版注意cuda版本和pytoch
摘要：总体： 阅读全文
posted @ 2025-07-11 20:43 傲云萧雨 阅读(30) 评论(0) 推荐(0)
llamaFactory 安装包冲突
摘要：1、vllm和gptq会冲突，先安装gptq，再批量安装剩下的包。 阅读全文
posted @ 2025-07-10 20:52 傲云萧雨 阅读(19) 评论(0) 推荐(0)
python解决包冲突
摘要：1、当conda安装，出现依赖冲突 conda install -c pytorch faiss-cpu=1.9.0 2、首先把里层的openai和numpy卸载掉 conda uninstall openai conda uninstall numpy 3、再安装faiss-cpu 4、最后再安装 阅读全文
posted @ 2025-06-24 21:17 傲云萧雨 阅读(43) 评论(0) 推荐(0)
使用ollama+llama3.1+open-webui搭一个本地的模型
摘要：1、先安装我们的ollama 1.1、官网地址：https://ollama.com/ 选择合适的版本，我的是window版本，点击下载，不用填邮箱。 1.2、开始安装,选择默认就可以 1.3、安装完毕：cmd输入：ollama 2、安装模型：llama3.1 2.1：找到模型 2.2复制下载 2. 阅读全文
posted @ 2024-12-23 03:47 傲云萧雨 阅读(2989) 评论(0) 推荐(0)