2022年10月17日
论文笔记 - MetaICL: Learning to Learn In Context
摘要： Motivation Facebook 的 MetaICL，牛逼就对了； 对 LM 针对 ICL 进行微调（而不是特定的任务）； 去除了自然语言的 Template，使用更直接的方式，排除了 Template 设计对 output distribution 造成的影响，让模型自己推测要进行的任务（所 阅读全文
posted @ 2022-10-17 20:51 MetaZ 阅读(139) 评论(0) 推荐(0)
论文笔记 - Fantastically Ordered Prompts and Where to Find Them: Overcoming Few-Shot Prompt Order Sensitivity
摘要： prompt 的影响因素 Motivation Prompt 中 Example 的排列顺序对模型性能有较大影响（即使已经校准参见好的情况下，选取不同的排列顺序依然会有很大的方差）： 校准可以大幅度提高准确率，但是不同的排列顺序方差依然很大 Analysis 提出探测集（probing set），流 阅读全文
posted @ 2022-10-17 18:54 MetaZ 阅读(282) 评论(0) 推荐(0)
论文笔记 - Calibrate Before Use: Improving Few-Shot Performance of Language Models
摘要： Motivation 无需参数更新的 In-Context Learning 允许使用者在无参数的更新的情况下完成新的下游任务，交互界面是纯粹的自然语言，无 NLP 技术基础的用户也可以创建 NLP 系统； ICL 存在的主要问题是模性能的不稳定性（与 Prompt 的设计强相关），也就是高方差。主 阅读全文
posted @ 2022-10-17 13:59 MetaZ 阅读(350) 评论(0) 推荐(0)