无监督语义相似度(一)

  预训练+微调在下游任务上确实取得了很好的效果,但是在没有监督数据微调的情况下,使用预训练模型表征文本语义时效果却很差,不如直接使用词向量来表征文本。记得在BERT刚出来的时候,使用BERT做无监督语义相似度的任务时,计算出来的句子之间的余弦相似度值都很高,导致正负样本之间的区分度不高,当时并不明白是什么原因导致的,只知道不微调BERT,直接拿来用的效果不行。直到今天已经有不少工作对这个问题给出了解释,原因是BERT的句子向量空间是不平滑的、各向异性的,如何理解”各向异性“这个词?一个好的向量空间应该是均匀分布的,这样表征出来的句子就会呈现出差异化,而”各向异性“的向量空间中,是非均匀的,可能会聚簇在一个狭小的地方,表征出来的句子会很相近。知道了原因,就会有相应的解决方案,接下来介绍几个相关的工作。

 

论文一:On the Sentence Embeddings from Pre-trained Language Models

  BERT向量空间的”各向异性“概念早在这篇论文之前就有人提出,但却是在这篇论文中被大家熟知。并且通过理论和实验进一步认证了这个问题,论文中使用词向量来论证这个问题(因为在语言模型中词向量和上下文向量是相关的,如果词向量存在问题,那上下文向量也存在问题),作者通过计算词向量和原点之间的欧式距离以及词向量和K近邻之间的欧氏距离,发现高频词离原点近且分布集中,低频词离原点远且分布离散。

  这样的结果会导致语义不同的高频词相近,而语义相同的高频词和低频词却相隔很远,这也就是为什么用BERT直接得到句向量时,句向量之间的余弦相似值都很高,因为大部分句子主要都是由高频词组成,而高频词无论语义是否相同,在向量空间中都相隔的很近。

  作者在这里也提出了一种方法来解决”各向异性“的问题,就是将”各向异性“的向量空间转换到一个”各向同性“的高斯分布空间。

  基于流式生成模型,将BERT的向量表征可逆的映射到高斯分布空间,作者将这个命名为BERT-flow,学习一个可逆的映射$f$,把服从高斯分布的变量$z$映射到BERT的向量分布$u$,则$f^{-1}$就可以把$u$映射到高斯分布。在训练过程中,只训练$f$,不更新BERT的权重。最终的实验结果如下:

   直接使用BERT的得到句向量的效果是不如Glove词向量的平均,使用BERT-flow后效果提升还是挺明显的。

 

论文二:SimCSE: Simple Contrastive Learning of Sentence Embeddings

  对比学习是提升无监督语义相似度的又一有力手段,对比学习的特点是使得正样本相近,负样本远离。对比学习有两个相关指标: $Alignment$ 和 $Uniformity$ ,可以用来衡量句子表征的质量。$Alignment$ 用来度量两个正样本之间的距离,$Uniformity$ 用来度量表征是否分布均匀:

   对比学习的目的就是让正样本相互靠近,负样本相互远离。所以对比学习的 loss 可以表达成下面的形式,其中$sim(h_i, h_i^+)$是余弦距离:

  对比学习的核心是如何构造正负样本对,在无监督的对比学习中,通常通过数据增强(增、删、改、换等)来获得正样本对,负样本对则使用 in-batch 中不同的样本对作为负样本。而在SimCSE中,作者没有显示地通过数据增强来构造正样本对,而是通过同一样本经两次不同的 Dropout 得到正样本对。如下图所示,

  对应的 loss 如下,其中$z_i$ 和 $z_i^{\prime}$ 是同一样本经不同的 dropout 的正样本对:

  基于 dropout 生成正样本对已经成为了NLP中对比学习常用的正样本生成手段。

 

论文三:ESimCSE: Enhanced Sample Building Method for Contrastive Learning of Unsupervised Sentence Embedding

  ESimCSE 是在 SimCSE 的基础上改进的模型,主要是从正负样本构造上进行了优化。作者认为在 SimCSE 中因为正样本是同一个样本,在Transformer的架构中,同一个样本的长度一致,这点信息在位置向量中会被突显出来,有了这点信息,模型就可以更容易地判断哪些是正样本,哪些是负样本,导致模型没学到深层的语义信息就收敛了;二是对比学习中负样本的空间是非常大的,in-batch 的负样本构造不一定能代表整个负样本的分布,换句话说 in-batch 的负样本采样受batch size 的影响,导致负样本的数量不够多,困难负样本涵盖不够,负样本容易被识别,因此作者采用了计算机视觉中常用的动量对比的方法,用一个队列来存储历史 batch 作为负样本,来扩大负样本的数量。

  具体的技术方案如下图所示:

 

  1)正样本构造

  作者认为增删改等都有可能改变句子的语义,但是对词做复制的话不太可能会影响句子的语义。作者通过对句子中的子词进行复制来构造正样本对,这样得到的正样本对长度也不一致,如上图所示 ”Two dogs are running“ 和 ”Two dogs are running running“就是通过复制构造的正样本对,通过均匀采样复制哪个子词,且复制子词的比例也是一个可设置的超参数。

  2)动量对比

  用一个队列将历史 batch 缓存起来,队列的大小是固定的,遵循这新batch 入队列,老batch 出队列。队列中的样本用一个新的 Momentum Encoder来编码,Momentum Encoder只做前向计算,不过反向传播更新参数,它的参数由Encoder的参数来辅助更新,更新机制如下,通过滑动的方式更新:

 

   由于引入了动量对比,loss 也要将这部分负样本加进来,loss 表达式如下:

  经过这两点优化后,相比SimCSE还是有不小的提升:

 

posted @ 2022-06-20 16:30  微笑sun  阅读(643)  评论(0编辑  收藏  举报