论文归纳-LLM缺陷发现

Beyond Accuracy: Behavioral Testing of NLP Models with CheckList

ACL 2020 best paper, Microsoft

https://github.com/marcotcr/checklist

https://www.alphaxiv.org/zh/abs/2005.04118

held-out accuracy 是评估模型泛化能力的主要方式，但是由于测试集往往不全面，并且包含与训练集相同的偏差，因此可能高估NLP模型的性能。此外，将模型性能总结为一个聚合指标，难以发现模型在哪里失败，以及如何修复它。

CheckList 通过将软件工程中的行为测试（behavioral testing）应用于NLP模型评估来解决上述局限。其核心理念是将模型视为黑盒模型，系统测试模型在不同能力下的输入-输出行为。

CheckList 构建了一个 capabiliity * test type 的矩阵，行为模型的语言能力（capabilities），列为不同的测试类型（test types）。

语言能力包含语言理解的基本方面，例如：词汇和词性、命名实体识别 NER、否定等等。
测试类型有以下三种：
- 最小功能测试 MFT：作为单元测试。一般是简单的示例，旨在验证模型是否具有特定语言现象的基本理解。即，对于已知标签 y 的输入 x，期望 \(f(x) = y\)
- 不变性测试 INV：在保持标签不变的前提下，对输入进行扰动。例如在情感预测中将“飞往芝加哥”修改为“飞往达拉斯”。即，对于输入 x 和保持标签的扰动 t，期望 \(f(x) = f(t(x))\)
- 方向性期望测试 DIR：对输入进行可预测方向的扰动。例如在积极句子中添加明显消极的短语，使得情感预测为负面。即，对于输入 x 和方向性扰动 d，期望 \(f(x) ≠ f(d(x))\) 且方向可预测

此外，CheckList 还指出可以通过模板和扰动批量构造测试。实验结果显示，CheckList能够发现之前评测方法忽略的模型失败场景。

CheckList的价值在于揭示了两个重要的问题：

聚合准确率无法揭示细粒度模型行为；
可以通过受控输入变换主动测试某种模型能力。

EVALTREE: Profiling Language Model Weaknesses via Hierarchical Capability Trees

COLM 2025

https://github.com/Zhiyuan-Zeng/EvalTree

https://zhiyuan-zeng.github.io/EvalTree

benchmark: MATH, WildChat

传统评测通常使用整体准确率或预定义类别上的性能描述模型，但这类指标难以回答模型具体在哪些能力上表现较差。EvalTree 的目标是从已有 benchmark 的实例级评测结果中，自动生成人类可理解、粒度合适的弱点分析 (weakness profile)。

文中弱点分析是一段对模型能力的自然语言描述，例如“使用三角法则分析几何关系”。理想的弱点分析 (W) 需要满足三个要求：

低性能识别：模型在该 weakness 对应的样本上性能表现较差；
全面性：尽可能覆盖模型在目标数据分布中的不同弱点；
粒度合适：不能过于宽泛，也不能具体到单个样本。

EvalTree 的核心方法是构建一个层次化能力树（capability tree）。分为以下四个步骤：

使用 LLM 为每个测试样本生成其所需能力的自然语言描述
使用 sentence-embedding 将第1步中的能力描述映射为向量
递归使用 K-Means 聚类将能力表示向量组织成层级结构，聚类数由轮廓系数自动决定。
自底向上地总结每个节点对应的能力，并为每个父节点命名。

从而得到：

\[\text{General Capability} \rightarrow \text{Fine-grained Capability} \rightarrow \text{Instance}. \]

然后根据能力树生成弱点分析。具体来说：

统计检验（Statistical Test）：对遍历到的每个节点进行二项检验，判断该节点对应样本的准确率是否显著低于预设性能阈值 \(\tau\)。同时，对其直接子节点进行相同检验。
弱点节点提取（Node Extraction）：若当前节点的性能显著低于阈值，并且所有样本数足够的直接子节点也均表现较差，则将该节点提取为 weakness。该条件用于控制弱点描述的粒度，避免将实际只存在于某个细粒度子能力中的问题过度概括为高层能力缺陷。
停止条件（Stopping Criteria）：当节点包含的样本数量低于预设阈值，或该节点已经被提取为 weakness 时，停止继续向下遍历。

因此，EvalTree 的核心流程可以概括为：

\[\text{Instance-level Evaluation} \rightarrow \text{Hierarchical Capability Tree} \rightarrow \text{Weakness Profile}. \]

EvalTree主要回答的是“模型在哪些能力上表现较差”，属于对已有失败结果的结构化归纳，而不是weakness discovery。

Dynamic Evaluation of Large Language Models by Meta Probing Agents (DyVal 2)

ICML 2024, Microsoft

https://github.com/microsoftarchive/promptbench

https://zhuanlan.zhihu.com/p/702543751

benchmark: MMLU, GSM8K, BBH partial, ARC-C

models: GPT-4-Turbo, GPT-3.5-Turbo, Gemini-Pro, Llama2-70b-chat, Yi-34b-chat, Mixtral-8x7b-Instruct

尽管现有研究提出了很多benchmark，但是数据污染导致公开benchmark中的评测结果存在“虚假成分”。文章提出了一种基于代理的动态评估协议，称为元探测代理 (Meta Probing Agent, MPA)，能够将现有benchmark转化为更加灵活多样的新问题，用于评估和分析LLM。

文章设计了几种原则 (principle) 用于动态生成新问题。这些原则对应于心理测量学中的三类基本能力：语言理解 Language Understanding、问题求解 Problem Solving 和 领域知识 Domain Knowledge。

文章采用了一种对抗式的方式来生成新问题。分为两种Agent：