深度学习与特征

如果encoder提取出来的特征能够decoder出来的数据与原始数据非常相似，这意味着encoder提取数据很厉害
生成式自监督拿自己的数据，通过mask比如去掉图片的一部分像素，改成灰度图，或者文本mask掉一些字，来训练特征提取器的能力，这样训练出来的提取器直接加一个分类头就可以进行分类了。

上游就是无监督与训练，下游就是微调