“幻觉”和“蒸馏”

“幻觉”和“蒸馏”

特性	幻觉	蒸馏
英文	Hallucination	Distillation (Knowledge Distillation)
核心比喻	凭空想象（通常指产生错误信息，在蛋白质设计中指创造性生成）。	知识提纯与转移（从大模型转移到小模型）。
主要目的	生成新内容（无论是错误的文本还是新的蛋白质设计）。	模型压缩与加速，将大模型的知识高效地封装进小模型。
过程特点	一次性或少量步骤的生成过程。	一个需要额外训练阶段的、系统的教学过程。
输出	新的文本、图像、蛋白质序列/结构。	一个新的、更小、更快的模型。
常见语境	大语言模型的缺陷；生成式AI的创造性应用。	模型部署、边缘计算、效率优化。

有意思的是，幻觉对于大语言模型来说属于缺陷；但是对于蛋白质设计来说，可以产生更加创造性的结构？