gongzb

摘要： 传统的大语言模型采用的训练目标是 Next-Token Prediction (NTP)，即在位置 t 上预测下一个 token (t+1)。而 Multi-Token Prediction (MTP) 的核心思想在于： 不仅预测下一个 token，而是能够同时预测多个未来的 token。 这种方式 阅读全文