sglang

sglang

 

python -m sglang.launch_server \
  --model-path Qwen/Qwen2.5-0.5B \
  --disable-cuda-graph \
  --port 30000