模型 - 随笔分类 - yi-sheng

多GPU本地布署Wan2.2-TI2V-5B文本转视频模型

摘要：一，#本机环境检查执行nvidia-smi，查看右上角。验证显卡驱动已安装最高支持的版本。 nvidia-smi #在调试时，为了实时观察GPU利用率，一般新开一个命令窗口，执行以下命令，一秒刷新一次。 watch -n 1 nvidia-smi 执行nvcc -V验证cuda nvcc -V 执阅读全文

posted @ 2025-09-25 21:10 yi-sheng 阅读(47) 评论(0) 推荐(0)

在 Linux 系统上安装 ComfyUI

摘要：在 Linux 系统上安装 ComfyUI #环境准备 #列出所有已创建的Conda 环境： conda env list 或 conda info --envs #创建并激活 Conda 虚拟环境: 建议使用 Python 3.10。 conda create -n conda_com 阅读全文

posted @ 2025-09-23 10:19 yi-sheng 阅读(65) 评论(0) 推荐(0)

RTX4090双卡本地布署QwenImage模型并生成OpenAI API

摘要：一，#本机环境检查执行nvidia-smi，查看右上角。验证显卡驱动已安装最高支持的版本。 nvidia-smi #在调试时，为了实时观察GPU利用率，一般新开一个命令窗口，执行以下命令，一秒刷新一次。 watch -n 1 nvidia-smi 执行nvcc -V验证cuda nvcc -V 执阅读全文

posted @ 2025-09-21 14:52 yi-sheng 阅读(43) 评论(0) 推荐(0)

本地布署Qwen-Image蒸馏模型

摘要：一，#本机环境检查执行nvidia-smi，查看右上角。验证显卡驱动已安装最高支持的版本。 nvidia-smi #在调试时，为了实时观察GPU利用率，一般新开一个命令窗口，执行以下命令，一秒刷新一次。 watch -n 1 nvidia-smi 执行nvcc -V验证cuda nvcc -V 执阅读全文

posted @ 2025-09-20 22:02 yi-sheng 阅读(33) 评论(0) 推荐(0)

本地布署Diffusers库实现文生图

摘要：本地布署Diffusers库实现文生图本次随笔，记录开源Python库Diffusers库的使用。 Diffusers库由Hugging Face维护，拥有活跃的社区和丰富的文档。Diffusers库是专注于扩散模型（Diffusion Models）的开源Python库。Diffusers库多任阅读全文

posted @ 2025-09-13 21:55 yi-sheng 阅读(30) 评论(0) 推荐(0)

vLLM框架本地布署Qwen3-32B模型

摘要：vLLM框架本地布署Qwen3-32B模型先Conda虚拟环境创建，这里不再讲了，前面讲过。激活环境conda activate vllm_numpy_pytorch 下载完整模型库modelscope download --model Qwen/Qwen3-32B 默认下载到: /home/ad 阅读全文

posted @ 2025-09-10 17:59 yi-sheng 阅读(37) 评论(0) 推荐(0)

使用通义灵码快速生成程序实现换装、换发型、瘦身 #Qwen3-Coder挑战赛#

摘要：今天随笔记录，使用通义灵码来生成一个程序，实现图片人物快速换衣服 #Qwen3-Coder挑战赛# #Qwen3-Coder模型# #Qwen/Qwen-Image-Edit# 在线体验： https://modelscope.cn/studios/xihuyisheng/xihu-imageed 阅读全文

posted @ 2025-09-08 17:23 yi-sheng 阅读(72) 评论(0) 推荐(0)

Ubuntu 22.04.5 LTS安装vLLM 框架布署本地模型

摘要：今天记录一下，在 Ubuntu 22.04.5 LTS 上使用 Conda 虚拟环境安装 vLLM 框架来布署本地模型。显卡是NVIDIA GeForce RTX 4090，操作系统为Ubuntu 22.04.5 LTS 执行nvidia-smi验证显卡驱动已安装最高支持12.2版本执行nvcc 阅读全文

posted @ 2025-08-20 15:18 yi-sheng 阅读(290) 评论(0) 推荐(0)

离线下载模型到内网

摘要：1，先在有外网的系统上下载模型。安装docker，起动ollama容器。起动时映射文件夹容器文件夹 /root/.ollama/models 宿主机文件夹 /home/ollamaData/models 2，拉取模型 ollama pull modelscope.cn/Embedding-GGU 阅读全文

posted @ 2025-06-19 08:00 yi-sheng 阅读(108) 评论(0) 推荐(0)

3条命令布署本地DeepSeek

摘要：3条命令布署本地DeepSeek curl -fsSL https://ollama.com/install.sh | shsystemctl start ollama --启动Ollamaollama run modelscope.cn/unsloth/DeepSeek-R1-Distill-Qw 阅读全文

posted @ 2025-02-16 22:47 yi-sheng 阅读(134) 评论(0) 推荐(0)

AnolisOS8.6系统少量代码快速布署DeepSeek-R1推理服务

摘要：AnolisOS8.6系统少量代码快速布署DeepSeek-R1推理服务先硬件准备，安装操作系统，安装显卡驱动。检查环境 cat /etc/system-release --查看系统版本nvidia-smi --查看显卡驱动nvcc -V --检查CUDA 安装ollama 查看ollama官网阅读全文

posted @ 2025-02-15 14:12 yi-sheng 阅读(124) 评论(0) 推荐(0)

AnolisOS8.6安装NVIDIA驱动和CUDA

摘要：计划在AnolisOS8.6上部署DeepSeek推理模型。比较重要的一步是安装显卡驱动，此篇重点记录安装NVIDIA驱动和CUDA 硬件组装和安装操作系统找到两张NVIDIA GeForce RTX 2080 Ti 显卡，服务器硬盘做RAID后安装AnolisOS8.6操作系统。配置外网。查看阅读全文

posted @ 2025-02-15 00:04 yi-sheng 阅读(366) 评论(0) 推荐(0)

随笔分类 - 模型