摘要：
流式输出（Streaming）原理与踩坑经验 本人在日常开发中，遇到流式输出相关的问题，一般都需要靠大模型协助定位问题，归其根本是因为我对流式输出的原理认识不足。所以本篇文章记录我学习流式输出的原理，以及在实际开发中遇到的问题。 整体流程： 大模型生成 token ↓ 打包成 chunk（一个或多个 阅读全文
posted @ 2026-06-12 12:51
第十昵称
阅读(288)
评论(1)
推荐(1)
摘要：
[踩坑指南] 联网检索 API 服务成本控制实践 一、问题描述 最近公司采购的联网检索 API 出现了费用激增的情况。复盘下来，主要是我们在做新服务时忽略了成本控制。具体原因可以归结为以下几点： 前期习惯了“不计成本”：项目刚开始时，因为使用频率和数据量都不大，我们的主要精力都放在“怎么让检索效果更 阅读全文
posted @ 2026-06-09 15:50
第十昵称
阅读(14)
评论(0)
推荐(0)
摘要：
Qwen3.6-35B-A3B 不支持role仅有system 问题描述 Qwen3.6-35B-A3B 模型在正式服务中偶发报错。起初怀疑是空 chunk 处理问题但未修复。经对比正常与异常的请求入参发现，报错时的请求仅包含单一的 system 角色。结合此前的经验验证后推断： Qwen3.6 系 阅读全文
posted @ 2026-06-09 08:52
第十昵称
阅读(17)
评论(0)
推荐(0)
浙公网安备 33010602011771号