我的随笔

利用 device_map、torch.dtype、bitsandbytes 压缩模型参数控制使用设备

阳光一生 2025-09-11 17:23 阅读:23 评论:0 推荐:0

How to Install and Use vLLM

阳光一生 2025-09-11 17:21 阅读:31 评论:0 推荐:0

How to Benchmark vLLM Offline Inference

阳光一生 2025-09-11 17:21 阅读:87 评论:0 推荐:0

Vllm部署大模型

阳光一生 2025-09-10 17:46 阅读:296 评论:0 推荐:0

Ubuntu系统下Xen虚拟机的基本安装方法

阳光一生 2022-10-30 21:46 阅读:467 评论:0 推荐:0

ubuntu更新源

阳光一生 2022-10-30 08:19 阅读:897 评论:0 推荐:0

mysql

阳光一生 2022-10-21 09:14 阅读:9 评论:0 推荐:0

docker

阳光一生 2022-10-21 09:12 阅读:6 评论:0 推荐:0

网络

阳光一生 2022-10-21 09:11 阅读:25 评论:0 推荐:0

echo 中 & 的用法

阳光一生 2022-10-21 09:11 阅读:33 评论:0 推荐:0