图像小样本分割之——PANET

图像小样本分割之——PANet

论文连接

Panet: Few-shot image semantic segmentation with prototype alignment

主要思想

文章借鉴了小样本图像分类中原型网络的思想，将度量学习的方法引入到了图像小样本分割任务中。

方法步骤

用同一个backbone来提取support和query的深度特征，然后使用masked average pooling计算出每一类目标以及背景的原型中心：

$p_c=\frac1k\sum_k\frac{\sum_{x,y}F_{c,k}^{(x,y)}1\left[M_{c,k}^{(x,y)}=c\right]}{\sum_{x,y}1\left[M_{c,k}^{(x,y)}=c\right]}$

$p_{bg}=\frac1{Ck}\sum_{c,k}\frac{\sum_{x,y}F_{c,k}^{(x,y)}1\left[M_{c,k}^{(x,y)}\not\in C_i\right]}{\sum_{x,y}1\left[M_{c,k}^{(x,y)}\not\in C_i\right]}$

每个prototype表示对应的类别，这样query图像的每个的像素通过参考离它的嵌入表达最近的特定类的prototype来标记，得到query的预测mask：

$\overset{}{M_{q;j}^{(x,y)}}=\frac{exp(-\alpha d(F_q^{(x,y)},p_j))}{\sum_{p_j\in P}exp(-\alpha d(F_q^{(x,y)},p_j))}$

训练的时候，得到mask后，再将刚才提取的query feature和mask作为新的“support set”，将之前的support set作为新的“query set”，再用“support set”对“query set”做预测预测，然后再算一个loss。

实验结果

实验使用的数据集是PASCAL VOC