【IEEE TIP 2026】高光谱与LiDAR联合分类兼顾精度和效率！MSAF：基于多视图序列嵌入与掩码自注意力的多模态地物分类网络

高光谱影像可以刻画出地物更细致的光谱差异性，而 LiDAR 数据提供了高程和空间结构的信息，两者结合有利于区分具有相似材质但是不同高的地物。现有的方法一般会为两个模态设置一个较深的独立网络，然后进行拼接或者加权的方式来进行融合。这种做法不但计算开销大，而且无法充分挖掘高光谱数据中的光谱信息、二维空间信息，以及 LiDAR 数据中的高程/三维结构信息。Masked Self-Attention Fusion Network ( MSAF ) 构建了一个级联式的 CNN-Transformer 融合框架，在该模型中采用了轻量移动卷积来提取特征并用多视图序列嵌入组织三种互补信息，同时利用掩码自注意力来抑制对少量高响应区域的过度依赖。在 HU-HL、MUUFL 和 Trento 数据集上，MSAF 的总体准确率分别达到 95.01%、94.17% 和 99.16%，参数量均约为 52K。

 

https://mp.weixin.qq.com/s/Dx54rB5iMZygngbajwH4jA