Tiome

摘要： 一文读懂知识蒸馏 一句话解释：知识蒸馏是一种模型压缩技术（model compression technique），通过让小模型（学生模型）学习大模型（教师模型）的输出或中间表示，以在保持精度的同时减少计算量和存储需求。 传统意义上的知识蒸馏 背景知识及总览 Bucilua等人（2006年）首次提出 阅读全文