马儿慢些走

摘要： 值得关注的： - 数据混合过程能用于制备语料库或者数据集吗？ - 关键假设：数据混合排名的不变性，这个假设让作者通过1M小模型的训练来收集数据混合的样本，训练混合预测器后在1B模型上验证。作者的实验使用了1M、60M和1B模型来验证假设，更大规模的模型是否有变化。 - 作者的发现是数据混合的部分规律难以直观理解，说明了模型预测的作用。 - 实验基本上基于数据源的混合完成，更细粒度的实验也有但是对样本的重新聚类是个麻烦的事情。 - 相关工作中提到本文方法是一种离线选择，还有在训练过程中的在线选择。 阅读全文