特征融合

Posted on 2022-08-28 15:11  Alexia_112  阅读(1155)  评论(0)    收藏  举报

参考博客:特征融合简介 - kkkshiki - 博客园 (cnblogs.com)

补充:

一、

早期融合 (Early fusion):在特征上进行融合,进行不同特征的连接,输入到训练预测器中训练,只有在完全融合后才进行检测。

两个主要分类:

1.concat:直接将两个特征进行连接,两个输入特征x和y维度数若为p、q,则输出特征z的维度数为p+q

2.add:并行策略。将这两个特征向量组合成复向量,对于输入特征x、y,输出特征z=x+iy

晚期融合(Late fusion):是在预测分数上进行融合。做法就是训练多个模型,每个模型都会有一个预测分数,对所有模型的结果进行融合,得到最后的预测结果。

1.feature不融合:多尺度的feature分别进行预测,然后对预测结果进行综合,如Single shot MultiBox Detector(SSD)、multi-scale CNN

2.feature进行金字塔融合,融合后进行预测。如FPN(主要针对图像中目标的多尺度)

二、DCA特征融合的方法

基于CCA(典型关联分析)的融合方法,就是使用两个输入特征间的相互关系,计算两种变换后的特征比输入两个特征集具有更高的相关性。CCA的主要不足,在于忽略了数据集中类结构间的关系,所以将每组特征中类分开。为了解决CCA的缺点,引入了DCA。DCA最大化两个特征及中对应特征的相关关系,同时最大化不同类之间的差异。

三、改进的CCD目标检测算法  DenseNet

改进在于使用DenseNet代替原始SSD结构中的VGG,以提高目标检测准确性,改进后的SSD网络对小物体产生很好的拟合。