摘要： Q&A 问题：按照下面配置 Preferred Batch Sizes，如果此时 requests 有 7 个，那么会发送多少个给 backend 呢？ dynamic_batching { preferred_batch_size: [ 4, 8 ] } 回答：看文档中的表述，应该是 4。如果可以 阅读全文