摘要: Q&A 问题:按照下面配置 Preferred Batch Sizes,如果此时 requests 有 7 个,那么会发送多少个给 backend 呢? dynamic_batching { preferred_batch_size: [ 4, 8 ] } 回答:看文档中的表述,应该是 4。如果可以 阅读全文
posted @ 2022-10-15 09:16 楷哥 阅读(1661) 评论(1) 推荐(0)