2024年6月25日
TGI 基准测试
摘要： 本文主要探讨 TGI 的小兄弟 - TGI 基准测试工具。它能帮助我们超越简单的吞吐量指标，对 TGI 进行更全面的性能剖析，以更好地了解如何根据实际需求对服务进行调优并按需作出最佳的权衡及决策。如果你曾觉得 LLM 服务部署成本太高，或者你想对部署进行调优，那么本文很适合你！ 我将向大家展示如何轻 阅读全文
posted @ 2024-06-25 17:09 HuggingFace 阅读(382) 评论(0) 推荐(0)