2025年9月11日
利用 device_map、torch.dtype、bitsandbytes 压缩模型参数控制使用设备
摘要： device_map# 以下内容参考 Huggingface Accelerate文档：超大模型推理方法 在 HuggingFace 中有个重要的关键字是 device_map，它可以简单控制模型层部署在哪些硬件上。 设置参数 device_map="auto"，Accelerate会自动检测在哪个 阅读全文
posted @ 2025-09-11 17:23 阳光一生 阅读(8) 评论(0) 推荐(0)
How to Install and Use vLLM
摘要： What is vLLM? vLLM is a high-performance library for LLM (Large Language Model) inference and serving. It is optimized for speed, efficiency, and ease 阅读全文
posted @ 2025-09-11 17:21 阳光一生 阅读(13) 评论(0) 推荐(0)
How to Benchmark vLLM Offline Inference
摘要： Introduction to vLLM vLLM is an efficient, high-performance inference and serving engine designed for large language models (LLMs). It is optimized fo 阅读全文
posted @ 2025-09-11 17:21 阳光一生 阅读(17) 评论(0) 推荐(0)
2025年9月10日
Vllm部署大模型
摘要： 合集 - AI应用合集(8) 1.Stable_diffusion入门学习2023-12-232.ControlNet学习实战1--字体海报2024-01-293.ControNet基础学习2024-02-204.Ollama初识03-235.Ollama进阶参数学习04-136.RAG 知识库数据 阅读全文
posted @ 2025-09-10 17:46 阳光一生 阅读(136) 评论(0) 推荐(0)
2022年10月30日
Ubuntu系统下Xen虚拟机的基本安装方法
摘要： Ubuntu上Xen安装虚拟机方法一dd一个空的磁盘 复制代码 代码如下: sudo dd if=/dev/zero of=/home/vm1.img bs=1G count=8 下载Xen VM通用配置文件 复制代码 代码如下: sudo wget http://mirrors.aliyun.co 阅读全文
posted @ 2022-10-30 21:46 阳光一生 阅读(439) 评论(0) 推荐(0)
ubuntu更新源
摘要： 文章目录前言一、Ubuntu 更新软件源的方法二、具体步骤前言Ubuntu系统自带的更新源服务器在国外，下载速度一般很慢，所以更换为国内源就成为必要操作了。 一、Ubuntu 更新软件源的方法Ubuntu 更新软件源的方法：1、打开终端；2、输入命令备份原有软件源文件；3、打开sources.lis 阅读全文
posted @ 2022-10-30 08:19 阳光一生 阅读(879) 评论(0) 推荐(0)
2022年10月21日
mysql
摘要： 阅读全文
posted @ 2022-10-21 09:14 阳光一生 阅读(8) 评论(0) 推荐(0)
docker
摘要： 阅读全文
posted @ 2022-10-21 09:12 阳光一生 阅读(6) 评论(0) 推荐(0)
网络
摘要： 阅读全文
posted @ 2022-10-21 09:11 阳光一生 阅读(25) 评论(0) 推荐(0)
echo 中 & 的用法
摘要： 阅读全文
posted @ 2022-10-21 09:11 阳光一生 阅读(33) 评论(0) 推荐(0)
下一页