无标注数据预测人脸识别模型偏差方法

无标注数据预测人脸识别模型偏差方法

无需标注即可进行偏差测试，使偏差检测更具实用性。

近年来，算法偏差已成为人工智能各研究领域的核心议题。自2018年一项针对人脸识别软件偏差的调查后，该主题的关注度急剧上升——其中偏差被定义为在不同人口群体对象上表现出的差异性能。

测试人脸识别模型偏差的自然方法是输入大量包含不同群体对象的图像并观察其性能。但这需要标注图像中对象身份的数据，而身份标注成本极高——特别是在确凿评估人脸识别模型所需的大规模数据上。

在今年的欧洲计算机视觉会议（ECCV）上，团队提出了一种评估人脸识别系统偏差的新方法，该方法不需要身份标注数据。尽管该方法仅估计模型在不同人口群体数据上的性能，但实验表明这些估计足够准确，能够检测出表明偏差的性能差异。

这一结果——能够预测人脸识别模型的相对性能而无需标注面部身份的测试数据——令人惊讶，它提出了一种评估范式，应使人脸识别软件的创建者测试模型偏差变得更加实用。

该图绘制了在故意省略“非洲”类别以引入偏差的Racial Faces in the Wild数据集上训练的人脸识别模型的误报率（错误匹配率，FMR）与漏报率（错误不匹配率，FNMR）的关系。实线为真实情况，虚线为模型预测，彩色区域为模型的置信区间。即使在置信区间的最外围，性能差异也很明显。

除了成本效益外，该方法还具有可动态适应新人口群体的优势。它确实需要一些识别属于这些群体的对象的方法——例如来自自我报告的图像元数据——但不需要身份标签。

为了评估该方法，团队在故意保留特定人口统计数据以引入偏差的数据集上训练了人脸识别模型。在所有情况下，该方法都能够识别出在保留人口群体上的差异性能。

团队还将该方法与贝叶斯校准（一种预测机器学习模型输出的基线方法）进行了比较。该方法在所有方面都优于贝叶斯校准，有时优势显著——特别是考虑到贝叶斯校准需要一些标注数据进行引导，而该方法完全依赖于未标注数据。

模型

从标注的训练数据中，人脸识别模型通常学习生成输入图像的向量表示（嵌入），并在嵌入空间中测量它们之间的距离。任何距离低于某个阈值的嵌入都被分类为表示同一个人。

假设真实匹配之间的距离服从某种分布，而非相同人脸之间的距离服从不同的分布。该方法的目标是学习这两个分布的参数。

假设真实匹配的距离分数（p1）和非相同人脸的分数（p0）服从两个不同的分布（蓝色曲线和黄色曲线）。目标是学习这些分布的参数（q1和q0）。

根据经验，发现分数分布往往略有偏斜，因此使用两段分布对其进行建模。两段分布围绕众数（最常出现的值）划分分布，众数两侧的分布具有不同的参数。

为了评估训练好的人脸识别模型，向其输入带有人口统计信息但无身份信息标注的图像对。人脸验证配对是随机的：有些是匹配的，有些不是，但不知道哪些是哪些。

从得到的分数中，模型学习一对分布，一个用于匹配，一个用于不匹配，基于分布之间的分离程度，可以预测模型的准确性。对数据集中的每个人口类别重复此过程并比较结果。

基于测试样本的层次聚类，可以为准确性估计计算误差范围，实验表明即使考虑误差，该方法仍能提供清晰的差异信号。希望这种方法论能帮助从事人脸识别或类似生物识别任务的人工智能从业者确保其模型的公平性。

研究领域
计算机视觉
机器学习

标签
欧洲计算机视觉会议（ECCV）
负责任的人工智能
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
公众号二维码