Hugging Face 博客

摘要： 视频地址：https://www.bilibili.com/video/BV1eg4y1Q7N5/ 是未来危机，还是眼下的问题？🌍 Sasha Luccioni 是 Hugging Face 团队的道德和可持续人工智能研究员，被邀请做了 TED 演讲 📢 演讲主题也是最近在 AI 伦理道德方面的 阅读全文

摘要： 引言 基于 transformer 的模型已被证明对很多 NLP 任务都非常有用。然而，\(O(n^2)\) 的时间和内存复杂度 (其中 \(n\) 是序列长度) 使得在长序列 (\(n > 512\)) 上应用它们变得非常昂贵，因而大大限制了其应用。最近的几篇论文，如 Longformer 、Pe 阅读全文

摘要： LCM 模型 通过将原始模型蒸馏为另一个需要更少步数 (4 到 8 步，而不是原来的 25 到 50 步) 的版本以减少用 Stable Diffusion (或 SDXL) 生成图像所需的步数。蒸馏是一种训练过程，其主要思想是尝试用一个新模型来复制源模型的输出。蒸馏后的模型要么尺寸更小 (如 Di 阅读全文

摘要： 当下，RLHF/ChatGPT 已经变成了一个非常流行的话题。我们正在致力于更多有关 RLHF 的研究，这篇博客尝试复现 OpenAI 在 2019 年开源的原始 RLHF 代码库，其仓库位置位于 openai/lm-human-preferences。尽管它具有 “tensorflow-1.x” 阅读全文

摘要： 在编程和软件开发这个不断演变的领域中，对效率和生产力的追求催生了许多卓越的创新。其中一个显著的创新就是代码生成模型的出现，如 Codex、StarCoder 和 Code Llama。这些模型在生成类似人类编写的代码片段方面表现出惊人能力，显示出了作为编程助手的巨大潜力。 然而，虽然这些预训练模型在 阅读全文

摘要： 本文旨在对 transformers 支持的各种量化方案及其优缺点作一个清晰的概述，以助于读者进行方案选择。 目前，量化模型有两个主要的用途: 在较小的设备上进行大模型推理 对量化模型进行适配器微调 到目前为止，transformers 已经集成并 原生 支持了 bitsandbytes 和 aut 阅读全文

摘要： Hugging Face、Meta、Scaleway 与法国创业孵化基地 STATION F 合作的人工智能创业项目正式启动 📢🔥 申请截止日期为 12 月 1 日本项目旨在利用开源人工智能的力量来扶持初创公司并推动人工智能创业生态的创新🌪如果你是：👾 一家愿意开发开源模型的人工智能初创企业 阅读全文

摘要： 最近我们刚刚发布了新的开源模型 Zephry-7B🪁，这个模型的诞生离不开全球三大洲开源社区的协作 ❤️。 我们的 CSO Thomas 录了一个视频介绍了它的起源故事: ✨ 就在几个月前，巴黎的一个新团队发布了他们首个模型: Mistral 7B，这个模型体积小巧但性能强劲，在基准测试中的表现超 阅读全文

摘要： 众所周知，LLM 规模庞大，如果在也能消费类硬件中运行或训练它们将是其亲民化的巨大进步。我们之前撰写的 LLM.int8 博文 展示了我们是如何将 LLM.int8 论文 中的技术通过 bitsandbytes 库集成到 transformers 中的。在此基础上，我们不断努力以不断降低大模型的准入 阅读全文

摘要： 我们在 企业版 Hub 服务 方案中推出了 存储区域（Storage Regions） 功能。 通过此功能，用户能够自主决定其组织的模型和数据集的存储地点，这带来两大显著优势，接下来的内容会进行简要介绍： 法规和数据合规，此外还能增强数字主权 性能提升（下载和上传速度更快，减少延迟） 目前，我们支持 阅读全文