xcyle

摘要： 利用预训练好的模型进行微调（Fine-tune），可以获得比传统模型的巨大提升。 此时学习率一般是正常的十分之一（\(10^{-5}\) 左右）。也可以保持预训练的参数不变。 Transformer 架构 Encoder-only：擅长分类任务 Decoder-only：擅长生成任务 Encoder 阅读全文