摘要:
这是 大模型评估排障指南 系列文章的第三篇,敬请关注系列文章: 关于推理 关于 \(\LaTeX\) 公式解析 关于可复现性 假设你读了一篇最近的新模型技术报告,然后心血来潮想要在本机复现他们的结果,却发现根本没法复现,这是为什么? 让我们来探讨一下原因。 代码库不同 要想复现论文或报告的评估得分并 阅读全文
这是 大模型评估排障指南 系列文章的第三篇,敬请关注系列文章: 关于推理 关于 \(\LaTeX\) 公式解析 关于可复现性 假设你读了一篇最近的新模型技术报告,然后心血来潮想要在本机复现他们的结果,却发现根本没法复现,这是为什么? 让我们来探讨一下原因。 代码库不同 要想复现论文或报告的评估得分并 阅读全文
posted @ 2025-05-13 17:14
HuggingFace
阅读(549)
评论(0)
推荐(1)

这是 大模型评估排障指南 系列文章的第二篇,敬请关注系列文章: 关于推理 关于 \(\LaTeX\) 公式解析 关于可复现性 解析 LaTeX 很难。这个问题在评估输出为 \(\LaTeX\) 的模型时经常会遇到,例如 Hugging Face 的 数学评估基准。 这个基准使用 \(\LaTeX\)
Hugging Face Hub 已成为 AI 协作的核心平台,托管了数万个模型、数据集以及交互式应用程序 (Space)。 在开放生态系统中,用户知情同意的管理方式与那些更 "数据饥渴" 的科技公司的封闭产品截然不同。本文将通过分析 Hugging Face Hub 平台,探讨由官方主导项目与社区
这是 大模型评估排障指南 系列文章的第一篇,敬请关注系列文章: 关于推理 关于 \(\LaTeX\) 公式解析 关于可复现性 模型运行非常慢怎么办? 调整 batch size 如果你想要评估结果完全可复现 (在特定的输入 prompt 和硬件条件下),你可以把 batch size 可以设为 1。
这是 让 LLM 来评判 系列文章的第六篇,敬请关注系列文章: 基础概念 选择 LLM 评估模型 设计你自己的评估 prompt 评估你的评估结果 奖励模型相关内容 技巧与提示 LLM 评估模型已知偏差及缓解措施: 缺乏内部一致性:同一 prompt 输入评估模型执行多次得到的结果可能不一样 (如果
Open R1 项目进展第三期 本次更新带来三大突破性进展: CodeForces-CoTs 数据集: 通过 R1 模型蒸馏生成近 10 万条高质量编程思维链样本,同时包含 C++ 和 Python 双语言解题方案 IOI 基准测试: 基于 2024 国际信息学奥林匹克竞赛 (IOI) 构建的全新挑
DeepSeek R1 发布已经两周了,而我们启动 open-r1 项目——试图补齐它缺失的训练流程和合成数据——也才过了一周。这篇文章简单聊聊: Open-R1 在模仿 DeepSeek-R1 流程和数据方面的进展 我们对 DeepSeek-R1 的认识和相关讨论 DeepSeek-R1 发布后社
浙公网安备 33010602011771号