Proj CDeepFuzz Paper Reading: Biasfinder: Metamorphic test generation to uncover bias for sentiment analysis systems

Abstract

背景：由于收集到的数据，模型会学习到对性别、职业、国籍、种族的偏见，需要发现这些fairness bugs

本文：BiasFinder
Task: Discover fairness bugs in the Sentiment Analysis System via Metamorphic Testing
Method: automatic curation of suitable templates learned from a large corpus
Step:

1. 识别带有人口学特征的词汇
2. 用某个target characteristic特征的某个class中的词汇填充模板得到texts
3. 如果一对texts仅仅有词汇来自相同characteristic不同的class类（男vs女，或者不同国籍），却有不同的情感结果，则收集，本文称之为bias-uncovering test case(BTC)

实验：
效果：能有效地生成大量多样流畅的test cases

Github: https://github.com/soarsmu/BiasFinder