标签噪声下的模型评估：如何准确评估AI模型的真实性能，提高模型性能测量的可信度

真实标签的不完美性是机器学习领域一个不可避免的挑战。从科学测量数据到深度学习模型训练中的人工标注，真实标签总是包含一定比例的错误。即使像ImageNet这样精心策划的图像数据集，其人工标注的错误率仍达0.3%。在这种情况下，如何准确评估预测模型的性能就成为一个关键问题。
本文将深入探讨如何在考虑测试数据标签错误的前提下，估计模型的"真实"准确率，并分析标签噪声与模型性能评估之间的复杂关系。