Hugging Face 博客

摘要： 本文主要探讨 TGI 的小兄弟 - TGI 基准测试工具。它能帮助我们超越简单的吞吐量指标，对 TGI 进行更全面的性能剖析，以更好地了解如何根据实际需求对服务进行调优并按需作出最佳的权衡及决策。如果你曾觉得 LLM 服务部署成本太高，或者你想对部署进行调优，那么本文很适合你！ 我将向大家展示如何轻 阅读全文

摘要： 我们很高兴在 TRL 中介绍 RLOO (REINFORCE Leave One-Out) 训练器。作为一种替代 PPO 的方法，RLOO 是一种新的在线 RLHF 训练算法，旨在使其更易于访问和实施。特别是， RLOO 需要的 GPU 内存更少，并且达到收敛所需的挂钟时间也更短。如下面的图表所示: 阅读全文

摘要： 作为 Stability AI 的 Stable Diffusion 家族最新的模型，Stable Diffusion 3 (SD3) 现已登陆 Hugging Face Hub，并且可用在 🧨 Diffusers 中使用了。 当前放出的模型版本是 Stable Diffusion 3 Mediu 阅读全文

摘要： 很高兴和大家分享 Hugging Face 的一项新功能: KV 缓存量化 ，它能够把你的语言模型的速度提升到一个新水平。 太长不看版: KV 缓存量化可在最小化对生成质量的影响的条件下，减少 LLM 在长文本生成场景下的内存使用量，从而在内存效率和生成速度之间提供可定制的权衡。 你是否曾尝试过用语 阅读全文

摘要： Sentence Transformers 是一个 Python 库，用于使用和训练各种应用的嵌入模型，例如检索增强生成 (RAG)、语义搜索、语义文本相似度、释义挖掘 (paraphrase mining) 等等。其 3.0 版本的更新是该工程自创建以来最大的一次，引入了一种新的训练方法。在这篇博 阅读全文

摘要： Whisper 是当前最先进的开源语音识别模型之一，毫无疑问，也是应用最广泛的模型。如果你想部署 Whisper 模型，Hugging Face 推理终端 能够让你开箱即用地轻松部署任何 Whisper 模型。但是，如果你还想叠加其它功能，如用于分辨不同说话人的说话人分割，或用于投机解码的辅助生成， 阅读全文

摘要： 我们很高兴官宣发布 langchain_huggingface ，这是一个由 Hugging Face 和 LangChain 共同维护的 LangChain 合作伙伴包。这个新的 Python 包旨在将 Hugging Face 最新功能引入 LangChain 并保持同步。 源自社区，服务社区 阅读全文

摘要： 简要概述 我们推出了 Transformers 智能体 2.0！ ⇒ 🎁 在现有智能体类型的基础上，我们新增了两种能够 根据历史观察解决复杂任务的智能体。 ⇒ 💡 我们致力于让代码 清晰、模块化，并确保最终提示和工具等通用属性透明化。 ⇒ 🤝 我们加入了 分享功能，以促进社区智能体的发展。 ⇒ 阅读全文

摘要： 检索增强生成 (Retrieval Augmented Generation，RAG) 可将存储在外部数据库中的新鲜领域知识纳入大语言模型以增强其文本生成能力。其提供了一种将公司数据与训练期间语言模型学到的知识分开的方式，有助于我们在性能、准确性及安全隐私之间进行有效折衷。 通过本文，你将了解到英特 阅读全文

摘要： 在人工智能技术领域，GPU 资源一直是推动研究和应用的关键因素。然而，GPU 的成本和可用性对于许多研究人员和开发者来说却是一个显著的障碍。 在 Hugging Face，我们希望人工智能技术可以更加普惠化，更多开发者可以参与其中共同探索，在人工智能技术浪潮中创造出让更多人受益的产品。 为此，我们计 阅读全文