BLEU 和 COMET 打架时该信谁:机器翻译评测选型实录

给文档翻译流水线搭质检环节时,我面临一个灵魂问题:机器翻得好不好,能不能让机器自己说。我给评测集跑了三种指标,结果它们自己先吵起来了——BLEU 打高分的批次,人工抽检觉得不行;COMET 打低分的,读起来反而顺。这篇把这个「指标打架」现象和最终的组合方案讲清楚。

一、n-gram 类:BLEU 到底在量什么

BLEU 的逻辑是「机器译文和参考译文的 n-gram 重合度」。它的脾气:

  • 惩罚同义改写。参考译文用「遭受损失」,机器译成「造成损失」,意思几乎一样,n-gram 不重合照样扣分。语言越灵活,它越冤。
  • 对短文本方差极大。十个词的短句,BLEU 能抖出十几分的波动;长段落才相对稳定。
  • 优点是便宜。不需要模型,毫秒级算完,适合做趋势监控——同一个引擎版本间横向比,它仍是性价比之王。

二、学习式指标:COMET 和它的同伴

新一代指标拿预训练模型给「语义等价性」打分,COMET 是代表。它的脾气正好和 BLEU 互补:

  • 同义改写基本不罚,语序错、漏译、多译(幻觉)抓得比 BLEU 狠;
  • 但要吃 GPU,批量评测得排队;
  • 有领域偏置:训练语料接近新闻/对话,技术文档场景分数系统性偏乐观,换领域前要拿本领域人工标注校准。

我们踩的坑就在这:直接拿公开 COMET 模型评硬件手册批次,高分批次里「参数单位丢失」这种致命错都没被抓住——单位错误在语义模型看来「意思差不多」,在工程师看来直接不可用。

三、人工锚点集:小而狠的校准盘

指标终究要被人工说话。我们的做法是维护一个 200 句级的人工打分锚点集:

  1. 来源覆盖各领域高频句式(陈述/条件/表格文本/警告语);
  2. 每句三人独立打分(0 不可用 / 1 可用需改 / 2 直接可用),分歧句进讨论后定标;
  3. 任何新指标上线前先「考」这个锚点集:与人评相关系数低于阈值的指标,再时髦也不用。

四、组合用法

最终质检流水线里三类指标各有分工:

环节 指标 作用
批次快筛 BLEU 趋势线 同引擎纵向对比,防版本回归
批次质量分 COMET(领域校准后) 主排序依据
硬规则扫描 单位/术语/数字一致性 一票否决,不过都进人工队列
抽检 人工对照锚点 校准前两者,季度刷新

关键认知:指标打架不是噪声,是信息——BLEU 高 COMET 低,多半是直译腔;COMET 高但硬规则扫描挂,往往是意译吞了技术参数。信哪个?信你业务最疼的那个维度。

结语

自动评测没有银弹,BLEU/COMET 都只是「代理指标」,真正的目标函数是人读得顺、信息不流失。把有限的人工预算花在锚点集建设和抽检上,让指标去放大人工的覆盖面,这套组合用下来,质检环节的人力比纯人审省了大半,漏检反而更少。有做翻译质检流水线的,评论区聊聊你们的指标组合。

posted @ 2026-11-11 11:14  吴键WJ  阅读(18)  评论(1)    收藏  举报