针对领域不变训练的注意力对抗学习

ICASSP 2019 SLP-P17.3: ATTENTIVE ADVERSARIAL LEARNING FOR DOMAIN-INVARIANT TRAINING（针对领域不变训练的注意力对抗学习）

   

简介

基于注意力机制的领域不变对抗性训练，用于抑制说话人变量与环境变量，以实现鲁棒ASR。

   

基于对抗的领域不变性训练（Adversarial Domain-Invariant Training，ADIT）

收敛：

同时，通过最小化预测三音素后验与三音素标签之间的交叉熵以提高F的三音素鉴别性：

基于注意力机制的、对抗的领域不变性训练（Attentive Adversarial Domain-Inveriant Training，AADIT）

在ADIT中，领域分类损失函数 等于 深度特征序列中每个特征的分类错误之和。然而，与无话语帧的深度特征相比，有话语帧的深度特征更具有领域鉴别性；与辅音相比，元音的深度特征的领域变化性更大。为解决这一问题，本文提出使用注意力机制动态且自动地调整深度特征的权重，以对更具有领域鉴别性的深度特征进行强调，这样，能增强所有深度特征的领域不变性。

   

本文使用了更适用于ASR的soft local(time-restricted) self-attention。local attention选择性地将注意力集中于上下文窗（以当前时间为中心）。

   

   

• 点积attention

  

• 加性attention

  

  

   

领域分类损失函数变为：

   

参数估计可表示为：

实验结果与结论

与多场景LSTM声学模型相比，single-head AADIT变好13.6%

与ADIT相比，single-head AADIT变好9.3%

   

参考文献

ATTENTIVE ADVERSARIAL LEARNING FOR DOMAIN-INVARIANT TRAINING

Zhong Meng, Jinyu Li, Yifan Gong, Microsoft Corporation, United States