预训练相关的一些概念

2025.10.11

1.掩码语言建模（MLM）任务在预训练阶段的主要目的是让模型通过预测被掩码的词来学习上下文相关的双向表示，如BERT模型所示。

 

2025.10.15

1.大型预训练语言模型（如GPT、BERT等）的预训练阶段通常采用自监督学习（Self-Supervised Learning），例如，BERT使用掩码语言建模（Masked Language Modeling），GPT使用语言建模（Language Modeling）来预测序列中的下一个词，这些都无需人工标注数据。

强化学习主要用于微调阶段（如人类反馈强化学习，RLHF），但不是预训练范式。

监督学习需要大量标注数据，而预训练主要依赖未标注文本。

半监督学习结合少量标注数据和大量未标注数据，但在预训练中不常用；它更适用于下游任务微调时如有少量标注数据的情况。