石头木

摘要： LLM 推理服务器基准测试工具 使用文档 一、软件概述 LLM 推理服务器基准测试工具是一款专业的性能测试软件，用于评估大语言模型（LLM）推理服务的性能。软件支持测试外部 API 服务（如 DeepSeek、OpenAI）和本地部署的模型，能够全面评估客户端和服务器端的性能指标。 主要功能 双模式 阅读全文