GENIE预训练过程

token输入

pretrain_data_util.py

mask_span_num = int((id_len * self.mask_pro) // self.span_size) + 1

mask的片段数，片段大小为8，mask概率为0.3

输入后加噪

gaussian_diffusion.py

加噪后送入模型

gaussian_diffusion.py

模型训练

Diffusion_LM.py

计算损失