四卡T10(Turing, sm75)，Qwen3.5-27B-FP8 & Qwen3.5-35B-A3B-FP8 vLLM 部署与测试

硬件配置：

CPU：双路E5-2630v4
显卡：英伟达 Tesla T10 16G 四卡（每个CPU接两个T10）
系统：Ubuntu 24.04.3 LTS

简单说明：

• 推荐使用 Qwen3.5-27B 模型，Qwen3.5-27B 输出质量比 Qwen3.5-35B-A3B 高的多。
• Qwen3.5-27B-FP8 模型信息：魔搭社区
• Qwen3.5-35B-A3B-FP8 模型信息：魔搭社区
• 使用vLLM加载 Qwen3.5 模型后，首次调用 API 进行推理时，需要等待约 4~10 分钟才会开始生成回复。推测是模型在初次调用时执行了某些编译或初始化操作，等待时间可能与 CPU 单核性能有关。后续 API 调用响应速度恢复正常。
• 本次测试主机的四张显卡分别连接到两颗 CPU 上，跨 NUMA 节点通信带来了一定的性能损耗，推理速度可能略低于四张显卡全部连接在同一 CPU 下的设备。

Qwen3.5-27B-FP8 256k上下文 16并发

注意： 执行部署指令前，请先将模型的config.json文件中的bfloat16改为float16

docker run -d \
  --gpus all \
  --memory 16g \
  --memory-swap 16g \
  --shm-size 16g \
  -p 8032:8000 \
  -v /model/Qwen/Qwen3.5-27B-FP8:/model \
  --ipc=host \
  --name vllm-Qwen3.5-27B-seqs16 \
  --env VLLM_SLEEP_WHEN_IDLE=1 \
  --env VLLM_USE_FLASHINFER_SAMPLER=1 \
  --env OMP_NUM_THREADS=2 \
  --env PYTORCH_ALLOC_CONF=expandable_segments:True \
  --env HF_HUB_OFFLINE=1 \
  --env VLLM_ENGINE_ITERATION_TIMEOUT_S=1800 \
  --env VLLM_ENGINE_READY_TIMEOUT_S=1800 \
  --env VLLM_RPC_TIMEOUT=1800000 \
  --env VLLM_EXECUTE_MODEL_TIMEOUT_SECONDS=1800 \
  --env VLLM_MARLIN_USE_ATOMIC_ADD=1 \
  --env VLLM_LOG_STATS_INTERVAL=1.0 \
  --env LD_LIBRARY_PATH='/usr/local/nvidia/lib64:/usr/local/nvidia/lib:/usr/lib/x86_64-linux-gnu' \
  vllm/vllm-openai:nightly \
  /model \
  --served-model-name Qwen3.5-27B \
  --mamba-cache-mode align \
  --limit-mm-per-prompt '{"video": 0}' \
  --mm-encoder-attn-backend TORCH_SDPA \
  --dtype float16 \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_coder \
  --reasoning-parser qwen3 \
  --gpu-memory-utilization 0.85 \
  --max-model-len 262144 \
  --max-num-seqs 16 \
  --tensor-parallel-size 4 \
  --async-scheduling \
  --enable-prefix-caching \
  --disable-custom-all-reduce \
  --attention-config.backend FLASHINFER \
  --host 0.0.0.0 \
  --api-key "abc123" \
  --enable-log-requests

单并发测试

多并发测试

Qwen3.5-27B-FP8 256k上下文 32并发 纯文本模式

注意： 执行部署指令前，请先将模型的config.json文件中的bfloat16改为float16

docker run -d \
  --gpus all \
  --memory 16g \
  --memory-swap 16g \
  --shm-size 16g \
  -p 8032:8000 \
  -v /model/Qwen/Qwen3.5-27B-FP8:/model \
  --ipc=host \
  --name vllm-Qwen3.5-27B-seqs32 \
  --env VLLM_SLEEP_WHEN_IDLE=1 \
  --env VLLM_USE_FLASHINFER_SAMPLER=1 \
  --env OMP_NUM_THREADS=2 \
  --env PYTORCH_ALLOC_CONF=expandable_segments:True \
  --env HF_HUB_OFFLINE=1 \
  --env VLLM_ENGINE_ITERATION_TIMEOUT_S=1800 \
  --env VLLM_ENGINE_READY_TIMEOUT_S=1800 \
  --env VLLM_RPC_TIMEOUT=1800000 \
  --env VLLM_EXECUTE_MODEL_TIMEOUT_SECONDS=1800 \
  --env VLLM_MARLIN_USE_ATOMIC_ADD=1 \
  --env VLLM_LOG_STATS_INTERVAL=1.0 \
  --env LD_LIBRARY_PATH='/usr/local/nvidia/lib64:/usr/local/nvidia/lib:/usr/lib/x86_64-linux-gnu' \
  vllm/vllm-openai:nightly \
  /model \
  --served-model-name Qwen3.5-27B \
  --mamba-cache-mode align \
  --language-model-only \
  --dtype float16 \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_coder \
  --reasoning-parser qwen3 \
  --gpu-memory-utilization 0.85 \
  --max-model-len 262144 \
  --max-num-seqs 32 \
  --tensor-parallel-size 4 \
  --async-scheduling \
  --enable-prefix-caching \
  --disable-custom-all-reduce \
  --attention-config.backend FLASHINFER \
  --host 0.0.0.0 \
  --api-key "abc123" \
  --enable-log-requests

多并发测试

Qwen3.5-35B-FP8 256k上下文 32并发

注意： 执行部署指令前，请先将模型的config.json文件中的bfloat16改为float16

docker run -d \
  --gpus all \
  --memory 16g \
  --memory-swap 16g \
  --shm-size 16g \
  -p 8032:8000 \
  -v /model/Qwen/Qwen3.5-35B-A3B-FP8:/model \
  --ipc=host \
  --name vllm-Qwen3.5-35B-A3B-seqs32 \
  --env VLLM_SLEEP_WHEN_IDLE=1 \
  --env VLLM_USE_FLASHINFER_SAMPLER=1 \
  --env OMP_NUM_THREADS=2 \
  --env PYTORCH_ALLOC_CONF=expandable_segments:True \
  --env HF_HUB_OFFLINE=1 \
  --env VLLM_ENGINE_ITERATION_TIMEOUT_S=1800 \
  --env VLLM_ENGINE_READY_TIMEOUT_S=1800 \
  --env VLLM_RPC_TIMEOUT=1800000 \
  --env VLLM_EXECUTE_MODEL_TIMEOUT_SECONDS=1800 \
  --env VLLM_MARLIN_USE_ATOMIC_ADD=1 \
  --env VLLM_LOG_STATS_INTERVAL=1.0 \
  --env LD_LIBRARY_PATH='/usr/local/nvidia/lib64:/usr/local/nvidia/lib:/usr/lib/x86_64-linux-gnu' \
  vllm/vllm-openai:nightly \
  /model \
  --served-model-name Qwen3.5-35B-A3B \
  --mamba-cache-mode align \
  --limit-mm-per-prompt '{"video": 0}' \
  --mm-encoder-attn-backend TORCH_SDPA \
  --dtype float16 \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_coder \
  --reasoning-parser qwen3 \
  --gpu-memory-utilization 0.85 \
  --max-model-len 262144 \
  --max-num-seqs 32 \
  --tensor-parallel-size 4 \
  --async-scheduling \
  --enable-prefix-caching \
  --disable-custom-all-reduce \
  --attention-config.backend FLASHINFER \
  --host 0.0.0.0 \
  --api-key "abc123" \
  --enable-log-requests

单并发测试

多并发测试