Hugging Face 博客

摘要： 为视觉语言多模态模型进行偏好优化 训练模型使得它能够理解并预测人类偏好是一项比较复杂的任务。诸如 SFT (Supervised finetuning) 的传统的方法一般都需要耗费较大成本，因为这些算法需要对数据打上特定的标签。而偏好优化 (Preference Optimization) 作为一种 阅读全文

摘要： Florence-2 是微软于 2024 年 6 月发布的一个基础视觉语言模型。该模型极具吸引力，因为它尺寸很小 (0.2B 及 0.7B) 且在各种计算机视觉和视觉语言任务上表现出色。 Florence 开箱即用支持多种类型的任务，包括: 看图说话、目标检测、OCR 等等。虽然覆盖面很广，但仍有可 阅读全文

摘要： 简要概括 经过一些实验，我们对 Transformers 智能体构建智能体系统的性能印象深刻，因此我们想看看它有多好！我们使用一个 用库构建的代码智能体 在 GAIA 基准上进行测试，这可以说是最困难、最全面的智能体基准测试……最终我们取得了第一名的成绩！ GAIA: 一个严苛的智能体基准 什么是智 阅读全文

摘要： Hugging Face 全球政策负责人艾琳-索莱曼 （ Irene Solaiman ）将参加7月5日在上海举办的WAIC-前沿人工智能安全和治理论坛，并在现场进行主旨演讲和参加圆桌讨论。具体时间信息如下： 主旨演讲：开源治理的国际影响 时间 ｜ 7月5日下午15:35 - 15:50 圆桌讨论： 阅读全文

摘要： 本文概述了我们在生成含数十亿词元的合成数据集以复现 Phi-1.5 过程中所遇到的挑战及其解决方案，由此最终创建了 Cosmopedia 合成数据集。合成数据已成为机器学习社区的 C 位话题，其题中之义是用人工 (如使用大语言模型 (LLM)) 生成的数据模拟真实数据。 传统上，构建用于有监督微调和 阅读全文

摘要： 这个夏天，THUNLP 携手 Hugging Face 和 OpenBMB，推出 大模型公开课第二季。在大模型公开课第二季中，将有全球知名开源社区 OpenBMB X Hugging Face 梦幻联动；MiniCPM、ChatDev、Ultra对齐 等明星开源项目作者亲自授课，带领同学从深度学习开 阅读全文

摘要： HumanEval 是一个用于评估大型语言模型 (LLM) 在代码生成任务中的参考基准，因为它使得对紧凑的函数级代码片段的评估变得容易。然而，关于其在评估 LLM 编程能力方面的有效性越来越多的担忧，主要问题是HumanEval 中的任务太简单，可能不能代表真实世界的编程任务。相比于 HumanEv 阅读全文

摘要： Google 发布了最新的开放大语言模型 Gemma 2，我们非常高兴与 Google 合作，确保其在 Hugging Face 生态系统中的最佳集成。你可以在 Hub 上找到 4 个开源模型（2 个基础模型和 2 个微调模型）。发布的功能和集成包括： Hub 上的模型 Hugging Face T 阅读全文

摘要： 社区中有两个流行的 零冗余优化器（Zero Redundancy Optimizer，ZeRO） 算法实现，一个来自 DeepSpeed，另一个来自 PyTorch。Hugging Face Accelerate 对这两者都进行了集成并通过接口暴露出来，以供最终用户在训练/微调模型时自主选择其中之一 阅读全文

摘要： 摘要 评估和比较大语言模型 (LLMs) 是一项艰巨的任务。我们 RLHF 团队在一年前就意识到了这一点，当时他们试图复现和比较多个已发布模型的结果。这几乎是不可能完成的任务：论文或营销发布中的得分缺乏可复现的代码，有时令人怀疑，大多数情况下只是通过优化的提示或评估设置来尽量提升模型表现。因此，他们 阅读全文