2026年1月18日
折腾笔记[42]-使用标准数据集测试30b模型编程能力
摘要： 使用标准数据集测试30b-a3b:q8模型编程能力. 阅读全文
posted @ 2026-01-18 17:57 qsBye 阅读(6) 评论(0) 推荐(0)
折腾笔记[41]-使用mqtt透传ollama的api
摘要： 使用mqtt透传ollama的api端点以应对客户端与服务器网络连接不稳定的情况. 阅读全文
posted @ 2026-01-18 17:18 qsBye 阅读(2) 评论(0) 推荐(0)
折腾笔记[40]-使用上古A100 GPU运行qwen3-30b-a3b模型
摘要： 折腾笔记[40]-使用上古A100 GPU运行qwen3-30b-a3b模型 使用上古的A100-SXM4-40GB GPU通过ollama运行qwen3-30b-a3b模型.“30B-Q8 量化模型在 GPU 上回答一句自我介绍，用 28 s 生成 267 token，平均功耗 55 W，总能耗 0.44 Wh，单 token 电费不足三万分之一元，能效约 6 J/token。”. 阅读全文
posted @ 2026-01-18 11:06 qsBye 阅读(9) 评论(0) 推荐(0)