bert 三种pooling策略对比

bert三种pooling策略对比

notes：因为基本上没有用过原生的bert做过句向量，所以别人冷不丁一问起，笔者顿时三脸懵逼

Sentence-BERT在BERT/RoBERTa的输出结果上增加了一个pooling操作，从而生成一个固定大小的句子embedding向量。实验中采取了三种pooling策略做对比：参考

直接采用CLS位置的输出向量代表整个句子的向量表示

MEAN策略，计算各个token输出向量的平均值代表句子向量

MAX策略，取所有输出向量各个维度的最大值代表句子向量