circle loss：统一softmax CrossEntropy loss 和 triplet loss / 2020
intro
刚看完《Circle Loss: A Unified Perspective of Pair Similarity Optimization》，随手写了一个overview。
一句话总结这篇paper干了什么事情---- "an unified perspective of learning with class-level labels and learning with pairwise-level labels".
如作者所陈述，这份研究主要有两个贡献：
- 提供了一个统一的视角，通过数学分析统一了分类问题的损失函数和配对问题的损失函数。
- 提出circle loss。
过去，针对class-level label，默认用softmax-CrossEntropy计算损失；针对pairswise-level label，默认用triplet loss计算损失。
现在，针对这两种情况，都可以用一种损失函数，即circle loss。实践表明，circle loss的效果比上面两者都秀。
circle loss API
变量说明
输入：
K个类内相似度， L个类间相似度
输出：
损失值
超参数：
scale factor: $\gamma$ 建议值256
relaxation factor: m 建议值0.25
-
within-class相似度：\(s^{i}_{p}\)
-
between-class相似度：\(s^{j}_{n}\)
-
权重\(\alpha^{i}_{p}\) = relu(\(m+1-s^{i}_{p}\))
-
权重\(\alpha^{j}_{n}\) = relu(\(m+s^{j}_{n}\))
-
\(margin_{p}\) = 1 - m
-
\(margin_{n}\) = m
circle loss正向计算公式
\(L_{circle} = log[ 1 + \sum_{i=1}^{K}exp(- \gamma * \alpha^{i}_{p} * (s^{i}_{p} - \Delta_{p})) * \sum_{j=1}^{L}exp(\gamma * \alpha^{j}_{n}) * (s^{j}_{n} - \Delta_{n}) ]\)
为何这样设计？
we expect \(s_{p}\) → 1 and \(s_{n}\) → 0.
circle loss对\(s^{i}_{p}\)和\(s^{n}_{j}\)求导公式：
\(\frac{\partial L_{circle}}{\partial s^{i}_{p}}\) = Z * \(\frac{exp(\gamma * ((s^{i}_{p})^{2}-(m)^{2}))}{\sum_{k=1}^{K}exp(\gamma * ((s^{k}_{p})^{2}-(m)^{2}))}\) * \(\gamma * (s_{p}^{i}+m)\)
\(\frac{\partial L_{circle}}{\partial s^{j}_{n}}\) = Z * \(\frac{exp(\gamma * ((s^{j}_{n}-1)^{2}-(m)^{2}))}{\sum_{l=1}^{L}exp(\gamma * ((s^{l}_{n}-1)^{2}-(m)^{2}))}\) * \(\gamma * (s_{p}^{j}-1-m)\)
\(s^{i}_{p}\)和\(s^{j}_{n}\)计算方法
class labeled
计算过程以单样本为单位
\(w_{i}\) 最后一层权重矩阵的第i个向量。
x 最后一层的输入。
类内相似度：
\(sim_{p}\) = cosine_similarity(x, \(w_{y}\))
\(sim_{n}\) = cosine_similarity(x, \(w_{i}\))
如果是n分类问题，那我们总共有n-1个\(sim_{n}\)，1个\(sim_{p}\)
pair-wise labeled
计算过程以batch为单位
输入：
x 目标特征向量
y 与x同类别的特征向量 / 与x不同类别的特征向量
输出：
x的类内相似度，类外相似度
相似度有两种计算方法：
-
dot_similarity 即 sim(x,y) = \(x * y\)
-
cosine_similarity 即 sim(x,y) = \(\frac{x*y}{|x|*|y|}\)
