摘要：在前两章中我们已经聊过对抗学习FGM，一致性正则Temporal等方案，主要通过约束模型对细微的样本扰动给出一致性的预测，推动决策边界更加平滑。这一章我们主要针对低密度分离假设，聊聊如何使用未标注数据来推动决策边界向低密度区移动，相关代码实现详见[ClassicSolution/enhancement] 阅读全文

摘要：借着ACL2022一篇知识增强Tutorial的东风，我们来聊聊如何在预训练模型中融入知识。Tutorial分别针对NLU和NLG方向对一些经典方案进行了分类汇总，这一章我们只针对NLU领域3个比较经典的知识增强方案Baidu-ERNIE，THU-ERNIE和K-Bert来聊下具体实现~ 阅读全文