摘要： 一、内在偏见与外在偏见 1、内在偏见：训练前数据集中存在的刻板印象； 2、外在偏见：用来衡量偏差如何在下游任务中传播。通常包括微调，然后评估其关于性别和种族等敏感属性的表现； 3、许多NLP应用程序对现有的语言模型进行了微调，这些模型将外在偏见和内在偏见交织在一起。 二、10种度量方法 2.1 内在 阅读全文

摘要： 一、对抗学习 1.1 ADV-标准对抗 主要思想：防止鉴别器识别受保护的属性。以对抗性方法训练模型，并明确掩盖受保护信息。 损失函数： 1.2 EADV-优化对抗 ADV存在的问题：在某些情况下，即使对抗性组件似乎做得很完美，仍有相当数量的受保护信息，并且可以从编码的表示中提取。 EADV主要思想： 阅读全文

摘要： 一、模型蒸馏 1.1 蒸馏简介 知识蒸馏是指通过教师模型指导学生模型训练，通过蒸馏的方式让学生模型学习到教师模型的知识，最终使学生模型达到或媲美教师模型的准确度。 在模型压缩中，教师模型是一个预训练好的复杂的模型，而学生模型是一个规模较小的模型。如分类任务中，由训练好的教师模型在相同的数据下，通过将 阅读全文

摘要： 1.PackagesNotFoundError: The following packages are not available from current channels: 原因: 在anaconda默认的网站中没有自己想要的包，解决办法就是更换这些网站，可以使用命令的方法（自行搜索），还有就是 阅读全文

摘要： 一、LLM与PLM主要区别： 1. LLM表现出PLM所没有的Emergent Abilities（涌现能力）,这些能力是LLM在复杂任务上表现惊人的关键，使得得人工智能算法前所未有的强大，但这些能力是如何获得的还不具有理论支持;2. LLM将彻底改变人类开发和使用人工智能算法的方式。与小型PLM不 阅读全文

摘要： 对比学习的一个关键思想： 如何构建对比的数据对，更细致的如何构建正样本和负样本，更好的正样本和负样本能够帮助模型更好的理解数据。 一、CIEAR 预训练模型主要解决的是token级别的特征抽取，很少做句子级别的特征抽取。BERT仅仅在词嵌入的表现优秀，但是在句子级别的建模任务表现不一定会有多优秀。本 阅读全文

摘要： 一、数据并行（DP ） 1、概念：相同的模型分布在不同的GPU上，在不同的GPU上使用不同的数据。每一张GPU上有相同的参数，在训练的时候每一个GPU训练不同的数据，相当于增大了训练时候的batch_size。 数据并行基于一个假设：所有节点都可以放下整个模型。这个假设在某些模型上（如GPT3）是不 阅读全文

摘要： 一、简单理解 判别式模型出现早于生成式模型。 判别式模型其实并没有学习到数据的内容，只是单纯的记住了数据特征来做分类和判断。就像做模拟题，考试时遇到和模拟题一样的题会做，不一样的不会做。 而生成式模型能够学习数据的内容，对样本进行理解。就像真的学会了知识，考试时遇到的题都会做。 二、生成式模型 Ge 阅读全文

摘要： 一、SGD（梯度下降） 在多变函数中，梯度是一个方向，梯度的方向指出了函数在给定点上升最快的方向，或者说指引了函数值增大的方向，因此我们只要考虑往梯度的反方向走，就至少能走到极小值，可能能走到全局最小值。 二、SGD with momentum（动量法：梯度累加） 动量累加：震荡方向的梯度相互抵消， 阅读全文

摘要： 1、迁移学习（Transfer Learning） 直观理解：站在巨人的肩膀上学习。根据已有经验来解决相似任务，类似于你用骑自行车的经验来学习骑摩托车。 专业理解：将训练好的内容应用到新的任务上，即将源域（被迁移对象）应用到目标域（被赋予经验的领域）。 迁移学习不是具体的模型，更类似于解题思路。 当 阅读全文