会员
周边
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
mokieli
博客园
首页
新随笔
联系
订阅
管理
2026年3月3日
四卡T10(Turing, sm75),Qwen3.5-27B-FP8 & Qwen3.5-35B-A3B-FP8 vLLM 部署与测试
摘要: 硬件配置: CPU:双路E5-2630v4 显卡:英伟达 Tesla T10 16G 四卡(每个CPU接两个T10) 系统:Ubuntu 24.04.3 LTS 简单说明: 推荐使用 Qwen3.5-27B 模型,Qwen3.5-27B 输出质量比 Qwen3.5-35B-A3B 高的多。 Qwen
阅读全文
posted @ 2026-03-03 01:13 纸鸢随风
阅读(2604)
评论(0)
推荐(0)
2026年3月1日
32并发输出速度519.87t/s!四卡T10(Turing, sm75) Qwen3-27B-FP8 并发吞吐量测试
摘要: 硬件配置: 主板:ProLiant ML350 Gen9 处理器:双路E5-2630v4 显卡:英伟达 Tesla T10 16G 四卡(每个CPU接两个T10) 系统:Ubuntu 24.04.3 LTS 推理框架:vLLM 模型:Qwen/Qwen3.5-27B-FP8 并发 1~32 吞吐量测
阅读全文
posted @ 2026-03-01 19:16 纸鸢随风
阅读(779)
评论(0)
推荐(0)
2026年2月28日
四卡T10(Turing, sm75),vLLM 部署 Qwen3.5-27B-FP8 多模态模型,256K上下文,开启MTP
摘要: 硬件配置: 主板:ProLiant ML350 Gen9 处理器:双路E5-2630v4 显卡:英伟达 Tesla T10 16G 四卡(每个CPU接两个T10) 系统:Ubuntu 24.04.3 LTS 推理框架:vLLM 模型:Qwen/Qwen3.5-27B-FP8 简单说明: Qwen3.
阅读全文
posted @ 2026-02-28 18:36 纸鸢随风
阅读(3996)
评论(2)
推荐(1)
2026年2月11日
给NanoKVM Pro增加h265 HEVC编码器支持
摘要: 此方式仅供学习,使用请遵守当地发法律,强行启用hevc会带来风险,这些风险包括但不限于专利授权费用、法律责任、设备兼容性问题及性能下降,博主不承担任何责任 因为 郑羊羊 的方法失效了,所以重新写了个不会失效的指令(大概)╮(╯▽╰)╭ NanoKVM Pro 镜像版本v1.0.13,应用版本1.2.
阅读全文
posted @ 2026-02-11 22:57 纸鸢随风
阅读(130)
评论(0)
推荐(0)
2026年2月10日
189k上下文,四卡T10(Turing, SM75)部署Qwen3-Coder-Next-AWQ-4bit模型
摘要: 硬件配置: 处理器:E5-2680v4 双路 显卡:英伟达 Tesla T10 16G 四卡 推理框架:vLLM 0.15.0 模型:cyankiwi/Qwen3-Coder-Next-AWQ-4bit 系统环境:Windows10 + WSL + Docker 简单说明: 本次测试运行在 Wind
阅读全文
posted @ 2026-02-10 23:50 纸鸢随风
阅读(666)
评论(0)
推荐(0)
公告