2023年4月25日
大规模 Transformer 模型 8 比特矩阵乘简介 - 基于 Hugging Face Transformers、Accelerate 以及 bitsandbytes
摘要： 引言 语言模型一直在变大。截至撰写本文时，PaLM 有 5400 亿参数，OPT、GPT-3 和 BLOOM 有大约 1760 亿参数，而且我们仍在继续朝着更大的模型发展。下图总结了最近的一些语言模型的尺寸。 由于这些模型很大，因此它们很难在一般的设备上运行。举个例子，仅推理 BLOOM-176B 阅读全文
posted @ 2023-04-25 23:41 HuggingFace 阅读(856) 评论(0) 推荐(0)