摘要：1. word tokenizer word base方法简单易理解，每个word都分配一个ID，则所需的Vocabulary则根据语料大小而不同，而且这种分词方式，会将两个本身意思一致的词分成两个毫不同的ID，在英文中尤为明显，如cat， cats。 2. character tokenizer 阅读全文

摘要：MiniLM 是什么？ MiniLM 是微软研究院开发的一种轻量级的语言模型，旨在以较小的参数量和计算成本实现与大型语言模型（如 BERT）相当的性能。它是基于 Transformer 架构的预训练模型，通过深度自注意力蒸馏（Deep Self-Attention Distillation）等技术进 阅读全文