H3C LinSeer MegaCube灵犀MegaCube工作站使用笔记

灵犀MegaCube工作站

查看显卡：nvidia-smi

(base) root@cube-d356:~# nvidia-smi
Mon Apr 27 08:28:53 2026
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 580.126.09 Driver Version: 580.126.09 CUDA Version: 13.0 |
+-----------------------------------------+------------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+========================+======================|
| 0 NVIDIA GB10 On | 0000000F:01:00.0 Off | N/A |
| N/A 42C P0 10W / N/A | Not Supported | 2% Default |
| | | N/A |
+-----------------------------------------+------------------------+----------------------+

+-----------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=========================================================================================|
| 0 N/A N/A 4143 G /usr/lib/xorg/Xorg 18MiB |
| 0 N/A N/A 4255 G /usr/bin/gnome-shell 6MiB |
| 0 N/A N/A 5739 C python 170MiB |
| 0 N/A N/A 5989 C sglang::scheduler 67349MiB |
+-----------------------------------------------------------------------------------------+
(base) root@cube-d356:~#

 

查看CPU

 
查看内存：

 

查看磁盘：

 

 拉取sglang推理框架镜像：

docker pull lmsysorg/sglang:v0.5.10

实际测试，上面这个框架报错。 错误表明Triton在调用PTX编译器（ptxas）时使用了无效的GPU架构名称 sm_121a，这不是一个合法的CUDA架构版本。

那么

SGLang 官方为 GB10 提供了专用的开发镜像，该镜像已预编译了适配 ARM 架构和 CUDA 13 的核心依赖，能避免你在本地编译时遇到各种底层库缺失的报错。

 

docker pull lmsysorg/sglang:dev-cu13

检查容器环境：

确保系统已安装 Docker 并配置好 NVIDIA Container Toolkit，以便容器能识别 GPU。 

验证NVIDIA Container Toolkit。可运行一个测试容器，检查是否能成功调用 GPU。如果配置成功，终端会输出与宿主机 nvidia-smi一致的 GPU 信息表格：

 

sudo docker run --rm --gpus all lmsysorg/sglang:dev-cu13 nvidia-smi

 

下载模型：

# 使用ModelScope下载模型前，先安装modelscope
pip3 install modelscope

modelscope download --model Qwen/Qwen3.5-35B-A3B --local_dir /home/models/modelscope/qwen35b_20260302

拉起模型：

用开发镜像

docker run -d --gpus all --shm-size 32g \
-p 8600:8600 \
-v /home/models/modelscope/:/home/models/modelscope/ \
--name sglang-qwen3-tool \
lmsysorg/sglang:dev-cu13 \
python -m sglang.launch_server \
--model-path /home/models/modelscope/qwen35b_20260302 \
--served-model-name Qwen3.5-35B-A3B-202603 \
--host 0.0.0.0 \
--port 8600 \
--mem-fraction-static 0.8 \
--context-length 32768 \
--reasoning-parser qwen3 \
--tool-call-parser qwen3_coder

服务启动后，通过发送一个简单的 POST 请求来测试 API 是否正常响应。

curl http://127.0.0.1:8600/generate \
-H "Content-Type: application/json" \
-d '{"text": "你是谁", "sampling_params": {"max_new_tokens": 100, "temperature": 0.7}}'