2025年1月2日
基于开放模型的推理时计算缩放
摘要： 基于开放模型的推理时计算缩放 过去几年，大语言模型 (LLM) 的进程主要由训练时计算缩放主导。尽管这种范式已被证明非常有效，但预训练更大模型所需的资源变得异常昂贵，数十亿美元的集群已经出现。这一趋势引发了人们对其互补方法的浓厚兴趣， 即推理时计算缩放。推理时计算缩放无需日趋庞大的预训练预算，而是采用动态推理策略，让模型能够对难 阅读全文
posted @ 2025-01-02 17:23 HuggingFace 阅读(401) 评论(0) 推荐(1)