语义分割之DFN

作业内容

1:文字回答:如何从宏观角度看待语义分割

宏观角度看待语义分割将语义分割看作一个任务,将一致的语义标签分配给一类事物,而不是每个像素。按照这一角度,语义分割中就会存在类间不一致和类内不一致的问题。

2:文字回答:简述注意力机制的作用

注意力机制是把注意力集中在重要的点上,而忽略其他不重要的因素。其中重要程度的判断取决于应用场景,具备注意力机制的神经网络可更好的进行自主学习。核心目标即从众多信息中选择对当前任务目标更关键的信息。

注意力机制包含两个步骤:1)注意力机制需要先决定整段输入的哪个部分需要更加关注

2)从关键的部分进行特征提取,得到重要信息。

按照注意力的关注域,可分为:空间域,通道域,层域,混合域,时间域。注意力机制可以帮助模型为输入图片的各个部分分配不同的权重,提取更关键、更重要的信息,使模型做出更准确的判断,同时不会给模型的计算和存储带来更多消耗。

3:文字回答:推导Dual Network的两种注意力机制过程

DANet引入了一种自注意力机制来分别捕捉空间域和通道域中的视觉特征依赖性。
空间域:网络输出的局部特征A(CxHxW),首先利用三个卷积层得到B,C,D三个特征图并分别reshape到(CxN), 然后将B的转置与C相乘,再通过softmax得到spatial attention map S(N,N), 将S的转置与D矩阵相乘后的结果reshape到(CxHxW), 再加上原始输入图像得到最后的输出特征图E。

通道域:先对A进行reshape到(CxN), 然后A与A的转置进行矩阵相乘,经过softmax后得到通道间的map X(CxC),之后再乘以A(CxN),得到的输出结果与原图相加后获得最后的输出E。

4:文字回答:简述类间不一致和类内不一致都是由什么导致的

以往语义分割是从微观角度看问题,对每个像素点进行分类,这样会造成类内与类间不一致。类内不一致是所属同一类的事物被分成了不同个体,可能因为感受野太小了,卷积核没有把整体语义信息考虑进去。类间不一致性指的是所属不同类却被分成了相同类。

5:代码实现:用DFN实现对PASCAL VOC 2012数据集的分割

 

posted @ 2020-10-21 23:02  sariel_sakura  阅读(359)  评论(0编辑  收藏  举报