论文阅读：Improved Graph Contrastive Learning for Short Text Classification

Liu Y, Huang L, Giunchiglia F, et al. Improved graph contrastive learning for short text classification[C]//Proceedings of the AAAI Conference on Artificial Intelligence. 2024, 38(17): 18716-18724.
GIFT模型的github网址

整体框架图

• 首先，构建一个由Gw、Ge和Gp三个分量图组成的异构图。
• 然后对每个分量图进行GCNs，分别得到更新后的节点嵌入Hw、He和Hp。
• 同时，构建特定于文本的 TD 矩阵 Mw、Me 和 Mp，并对其进行 SVD 以获得低秩近似矩阵 M_w,r、M_e,r 和 _p,r。
• 然后，通过文本表示学习模块获得 Zorg 和 Zaug。
• 利用 Zorg 和 Zaug 改进了图形 CL，并在 Zorg 上使用约束种子 k 均值进行交叉熵损失和面向聚类的 CL。

图构建

构建一个语料库级的异构图，由单词图、实体图和词性图（POS）组成。
（1）单词图：Gw = {Vw, Xw, Aw}，由短文本中的单词构成。

• Vw：单词集
• Xw：由预训练的Glove词向量初始化的词嵌入
• Aw：基于文本中单词共现统计的邻接矩阵，其中每个值由逐点互信息 （PMI） 确定

（2）实体图：Ge = {Ve, Xe, Ae}，由出现在知识图谱中的实体组成。

• Ve：实体集
• Xe：由TransE初始化的实体嵌入
• Ae：每个实体对的余弦相似度

（3）词性图：Gp = {Vp, Xp, Ap}，由POS标签组成，指定单词的句法角色以帮助消除歧义。

• Vp：POS标签集
• Xp：由 one-hot 向量初始化的标签节点特征
• Ap：由 PMI 计算的相关邻接矩阵

文本表示学习

构建异构图后，使用GNN进行编码，以同时利用拓扑和特征信息。具体采用图卷积网络（GCN）。

为了推导文本嵌入，为每种类型的节点（单词、实体和POS标签）构建特定于文本的矩阵（即TD矩阵），以在文本和节点之间建立连接。

• 对于单词（Mw）或POS标签（Mp），使用TF-IDF值
• 对于实体(Me)，如果第i个文本包含第j个实体，Me = 1，否则为0。
  将上述信息进行聚合操作得到Zorg。

改进的图对比学习

现有的生成增强文本视图的方法往往会丢失重要的语义或引入噪音，从而误导 CL 学习过程。为此，该模型对每种节点类型的TD矩阵进行SVD矩阵分解，以减少和去噪。

• 优点1：在减少噪声共现信号的同时，增强了文本表示的突出且可信的TD共现信号
• 优点2：通过整合来自每个TD对的全局TD共现信号，解决了由有限的局部TD共现信号引起的语义歧义问题
  然后，在低秩近似矩阵上应用一种信息聚合机制来生成文本的增强视图(Zaug)。

生成增强文本视图

生成增强文本视图通常指的是通过某种方法改变原始文本数据，以创造新的文本"视图"。这种方法可能包括同义词替换、句子重写、文本摘要等，目的是从不同角度或不同语义层面表现原文本，以便用于训练机器学习模型，特别是在需要模型理解和处理多种表述或语义的场景中。
SVD是一种在机器学习和信号处理中常用的矩阵分解技术。它可以将任意一个复杂的矩阵分解为三个简单的矩阵（U、Σ和V^T），从而提取出数据中最重要的特征。
进行SVD分解并使用其结果可以有效减少噪音，因为通过选择最大的奇异值来重构矩阵，可以忽略那些较小的奇异值所对应的成分，这些通常包含了噪声或不重要的信息。

面向集群的对比学习

上述方法忽略了数据中涉及的聚类友好信息，并独立的对待每个实体，导致具有相似语义的假阳性对。
解决方案：

• 使用 k-means 算法，将弱label分配给语料库中的未标记文本，以探索可以帮助模型获得更具区分性的类边界的聚类友好特征。
• 与传统的 k-means 不同，在质心初始化阶段，不是从数据中随机选择k个样本作为初始质心，而是使用具有相同label的种子样本来形成初始聚类，然后将聚类内的向量平均为初始质心。
• 在结论更新阶段，只更新非种子样本的聚类分配，在所有迭代中保持种子样本的聚类分配固定。