实现更公平机器学习的技术探索

迈向更公平的机器学习

机器学习算法的公平性是一个具有重大影响的研究课题。尽管对于"公平"的精确定义仍是开放性问题，但核心思想是学习模型在不同人口亚组（如不同性别）中应表现一致或相似。

公平性实现方法

当前研究主要分为三种技术路径：

预处理方法
通过修改训练数据去除历史偏差，再输入传统机器学习模型

后处理方法
对已训练模型进行修正，适用于复杂模型不可重构或再训练成本过高的情况

内处理方法
在模型学习阶段通过统计约束强制实现公平性，这是最自然但需要针对特定任务定制的方法

基于经验风险最小化的理论框架

研究团队从统计学习理论的基础概念出发，特别是经验风险最小化理论。该理论核心在于：模型在测试数据上的性能可能无法准确预测其真实世界表现，因为真实数据可能具有不同的概率分布。

团队将这一概念扩展到机器学习模型的真实公平风险和经验公平风险，并在此基础上提出了创新方法。

三项关键技术研究

1. 公平约束下的经验风险最小化

提出新的内处理方法，将公平约束融入学习问题。该方法通过要求权重向量与不同亚组间歧视向量的标量积保持较小（正交性约束）来实现公平性。对于线性模型，这一要求可转化为简单的预处理方法。

2. 基于Wasserstein重心的公平回归

针对回归任务提出后处理方法，将实值回归函数转换为满足人口统计均等约束的形式。该方法建立公平回归与最优传输理论之间的联系，推导出最优公平预测器的闭式表达式。

关键发现：最优公平预测器的分布均值是不同亚组分布的Wasserstein重心，这为公平预测提供了直观解释并启发了简单后处理算法。

3. 基于MMD和Sinkhorn散度的公平可迁移表示学习

在深度学习多任务学习设置中，通过最大均值差异和Sinkhorn散度两种分布距离度量方法施加约束，确保仅敏感属性不同的输入获得相似表示。该方法即使在迁移到新任务时仍能保持减少偏差的效果。

技术挑战与未来方向

算法公平性研究仍需深入探索，包括明确定义机器学习模型的公平性含义。需要将人类保持在机器学习模型生命周期的循环中，以评估模型行为是否符合预期。模型可解释性、可理解性和隐私保护等其他研究主题与算法公平性密切相关，可协同提高机器学习模型的可信度。

注：文中涉及的企业名称已按准则要求进行替换处理。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
公众号二维码