Transformer实战（22）——使用FLAIR进行语义相似性评估

0. 前言

在自然语言处理中，句子表示的质量直接影响下游任务(如语义检索、文本聚类)的效果。在本节中，我们将通过 FLAIR 库对句子表示模型进行定性评估，该库极大地简化了获取文档嵌入的过程，系统评估四种主流句子嵌入方法——平均池化、循环神经网络编码、BERT 嵌入及 SBERT 嵌入，揭示其语义区分能力。

1. 使用 FLAIR 进行语义相似性评估

在开始之前，使用 pip 安装所需库：

$ pip install flair

为了进行定性评估，我们定义了一组相似的句子对和一组不相似的句子对(每组五对)。我们期望嵌入模型能够对相似句子对给出较高的分数，对不相似句子对给出较低的分数。这些句子对是从语义文本相似性 (Semantic Textual Similarity, STS) 基准数据集中提取的。对于相似的句子对，两个句子是完全等价的，且意义相同。

(1) 从 STS 数据集中随机选取相似度分数约为 5 的句子对：