Hugging Face 博客

摘要： 在 PyTorch 中训练大语言模型不仅仅是写一个训练循环这么简单。我们通常需要将模型分布在多个设备上，并使用许多优化技术以实现稳定高效的训练。Hugging Face 🤗 [Accelerate](https://huggingface.co/docs/accelerate/index) 的创建 阅读全文

摘要： 每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging News」，本期 Hugging News 有哪些有趣的消息，快来看看吧！ ## 重磅更新 ### Hu 阅读全文

摘要： 大型语言模型如今风靡一时，许多公司投入大量资源来扩展它们规模并解锁新功能。然而，作为注意力持续时间不断缩短的人类，我们并不喜欢大模型缓慢的响应时间。由于延迟对于良好的用户体验至关重要，人们通常使用较小的模型来完成任务，尽管它们的质量较低 (例如 [代码补全任务](https://ai.googleb 阅读全文

摘要： 如果你是一个软件开发者，你可能已经使用过 ChatGPT 或 GitHub 的 Copilot 去解决一些写代码过程中遇到的问题，比如将代码从一种语言翻译到另一种语言，或者通过自然语言，诸如“_写一个计算斐波那契数列第 N 个元素的 Python 程序_”，来自动生成代码。尽管这些专有系统功能强大， 阅读全文

摘要： 大语言模型 (LLM) 正在席卷整个机器学习世界。得益于其 [transformer](https://arxiv.org/abs/1706.03762) 架构，LLM 拥有从大量非结构化数据 (如文本、图像、视频或音频) 中学习的不可思议的能力。它们在 [多种任务类型](https://huggi 阅读全文

摘要： 每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging News」，本期 Hugging News 有哪些有趣的消息，快来看看吧！ ## 重磅 ### 我们把 阅读全文

摘要： 本文主要介绍用于估算 transformer 类模型计算量需求和内存需求的相关数学方法。 # 引言 其实，很多有关 transformer 语言模型的一些基本且重要的信息都可以用很简单的方法估算出来。不幸的是，这些公式在 NLP 社区中鲜为人知。本文的目的是总结这些公式，阐明它们是如何推导出来的及其 阅读全文

摘要： 嗨嗨嗨，🤗 宝子们，今天咱们来一则招聘公告！这是 Hugging Face 的 Post-Sales Machine Learning Solutions Engineer - Asia Remote 职位，感兴趣的宝宝请继续往后看： Description Here at Hugging Fac 阅读全文

摘要： 1. 引言 自然语言生成 (即文本生成) 是自然语言处理 (NLP) 的核心任务之一。本文将介绍神经网络文本生成领域当前最先进的解码方法 对比搜索 (Contrastive Search)。提出该方法的论文 “A Contrastive Framework for Neural Text Gener 阅读全文

摘要： 示例视频由 ModelScope 生成。 最近生成模型方向的进展如排山倒海，令人目不暇接，而文生视频将是这一连串进展的下一波。尽管大家很容易从字面上理解文生视频的意思，但它其实是一项相当新的计算机视觉任务，其要求是根据文本描述生成一系列时间和空间上都一致的图像。虽然看上去这项任务与文生图极其相似，但 阅读全文