MetaZ

摘要： Motivation 虽然半监督学习减少了大量数据标注的成本，但是对计算资源的要求依然很高（无论是在训练中还是超参搜索过程中），因此提出想法：由于计算量主要集中在大量未标注的数据上，能否从未标注的数据中检索出重要的数据（Coreset）呢？ Analysis 当前用来半监督学习的方案： 自洽正则化（ 阅读全文

摘要： Motivation 最常用来在 Active Learning 中作为样本检索的两个指标分别是： 基于不确定性（给模型上难度）； 基于多样性（扩大模型的推理空间）。 指标一可能会导致总是选到不提供有效信息的重复数据（例如模棱两可的、毫无价值的样本）；而指标二会导致选择到的样本虽然具有多样性，但是太 阅读全文

摘要： 这位更是重量级。这篇论文对于概率论学的一塌糊涂的我简直是灾难。 由于 prompt 的分布与预训练的分布不匹配（预训练的语料是自然语言，而 prompt 是由人为挑选的几个样本拼接而成，是不自然的自然语言🤪），作者设预训练的分布为 $p$ 而 prompt 的分布设为 $p_{prompt}$，因 阅读全文

摘要： Direct && Noise Channel 进一步把语言模型推理的模式分为了： 直推模式（Direct）； 噪声通道模式（Noise channel）。 直观来看： Direct 模式 Noise Channel 模式 也就是说把数据和标签调换了位置。 公式推导 Direct： $$y_{tes 阅读全文

摘要： 根据 softmax 最基本的定义，计算公式如下所示： $$S_i=\frac{e^{x_i}}{\sum_j e^{x_j}}$$ 原理也很简单，将原向量变为分布的形式（和为1）。 看似很美好，但是有致命缺点，当 $x_i$ 的值比较大的情况下，由于 $e^x$ 呈指数增长，因可能会发生溢出。 解 阅读全文

摘要： Motivation Facebook 的 MetaICL，牛逼就对了； 对 LM 针对 ICL 进行微调（而不是特定的任务）； 去除了自然语言的 Template，使用更直接的方式，排除了 Template 设计对 output distribution 造成的影响，让模型自己推测要进行的任务（所 阅读全文

摘要： prompt 的影响因素 Motivation Prompt 中 Example 的排列顺序对模型性能有较大影响（即使已经校准参见好的情况下，选取不同的排列顺序依然会有很大的方差）： 校准可以大幅度提高准确率，但是不同的排列顺序方差依然很大 Analysis 提出探测集（probing set），流 阅读全文

摘要： Motivation 无需参数更新的 In-Context Learning 允许使用者在无参数的更新的情况下完成新的下游任务，交互界面是纯粹的自然语言，无 NLP 技术基础的用户也可以创建 NLP 系统； ICL 存在的主要问题是模性能的不稳定性（与 Prompt 的设计强相关），也就是高方差。主 阅读全文

摘要： 很多情况下我们希望在项目中建立一个build.bat用于项目的自动构建，避免每次构建时都需要手动在控制台中输入命令。 例如对于 pyinstall 的项目，只需要如下的实现： pyinstaller main.spec 但是对于大部分的 python 项目，我们一般都会创建一个虚拟环境，方便对项目依 阅读全文

摘要： in-domine 为域内数据，即为训练模型时使用的数据； out-domine 为域外数据，即为检验模型时使用的数据。 阅读全文