15375357604

摘要： MiniLM 是什么？ MiniLM 是微软研究院开发的一种轻量级的语言模型，旨在以较小的参数量和计算成本实现与大型语言模型（如 BERT）相当的性能。它是基于 Transformer 架构的预训练模型，通过深度自注意力蒸馏（Deep Self-Attention Distillation）等技术进 阅读全文