2024年11月19日
通用辅助生成: 使用任意辅助模型加速解码
摘要： 通用辅助生成: 使用任意辅助模型加速解码 太长不看版: 许多 LLM (如 gemma-2-9b 、 Mixtral-8x22B-Instruct-v0.1 等) 苦于缺乏对应小模型，而无法适用 辅助生成 方案。本文，我们将介绍由英特尔研究院和 Hugging Face 合作开发的 通用辅助生成 技术。有了这项技术，LLM 可与 任意 SL 阅读全文
posted @ 2024-11-19 22:08 HuggingFace 阅读(346) 评论(0) 推荐(0)