对称性阅读笔记

 1. A fast and efficient 3D reflection symmetry detector based on neural networks

　　首先收集大量具有反射对称性的 CAD 网格模型作为训练数据，然后将每个网格模型转换为密集点云，其中位于对称平面上的点标记为正。

　　基于 PointNet++ 架构，我们训练了一个多尺度深度神经网络，以自动从点云中捕获反射对称属性。

　　采用一种新颖的加权交叉熵损失函数来平衡正样本和负样本。

　　在推理过程中，我们首先将下采样的点云输入训练好的神经网络。然后，使用输出的逐点分类结果，使用 RANSAC 策略和最小二乘法计算初始对称平面方程。最后，执行迭代最近点算法来优化拟合的对称平面。

2. E3Sym: Leveraging E(3) Invariance for Unsupervised 3D Planar Reflective Symmetry Detection

　　平面对称性：每个点相对于对称平面都有一个对应的镜像点，并且对应关系在任何欧几里得变换下保持不变。

　　E3Sym 通过利用 E(3) 不变性以无监督和端到端的方式检测平面反射对称性。

　　从轻量级神经网络中提取的 E(3) 不变特征来建立稳健的点对应关系，从中生成密集对称性预测。检测任意数量的平面对称性，从不完整形状推断合理平面对称性。

　　一般来说，具有相似外观或几何结构的对称对应关系具有位置和方向不变性。

对称方法分为三类：

　　基于匹配的 [27, 49, 46]、基于采样的 [43, 7, 31, 16, 20] 和基于回归的 [15, 11, 42] 方法。

　　（1）基于匹配的方法通过成对匹配局部形状特征、生成潜在对称平面并对其进行优化，以获得合理的解决方案来检测对称性。因此，基于匹配的方法的关键是使局部形状特征相对于欧几里得变换具有鲁棒性或不变性。

　　（2）借助深度神经网络的表达能力和大量训练数据，基于回归的方法以监督[15, 42]或无监督[11]的方式回归对称参数或对称点坐标来检测对称性。

3.SymmetryNet: Learning to Predict Reflectional and Rotational Symmetries of 3D Shapes from Single-View RGB-D Images

　　预测逐点对称位置和对称平面（或对称轴）上的足点，并在推理过程中对预测的对称性进行聚类和过滤。

　　

第三章 方法

3D物体的对称性在其几何形态完整时容易检测。传统的3D对称检测流程通常基于观测到的几何元素（如点或部件）建立对称对应关系，然后将其聚合为有意义的对称性。然而，现实世界中单视角观测的物体通常因遮挡和有限视场而不完整。在这种不完整几何上检测对称性是现有方法难以解决的病态问题。

当推断不完整观测物体的底层对称性时，人类通常基于物体是否熟悉来解决模糊性。对于日常常见的物体，人们通过先验知识可以识别其类别、估计位姿并确定对称性。而对于新颖或罕见的物体，则需要基于观测几何中的局部对称证据（即建立对称对应关系）和/或想象中的未观测部分进行推断。显然，新颖物体的对称推断更为困难，因为它同时涉及形状匹配和形状补全。本研究通过耦合对称性与对称对应关系的预测，提出了一种适用于已知和未知物体的单视角对称检测统一解决方案。

我们的解决方案是训练一个端到端网络进行对称性预测（见图2）。该网络由三个主要模块组成：第一个模块以RGB图像和深度图像为输入，分别提取逐点的表观特征和几何特征；这些特征随后被用于逐点对称性预测；最终第三个模块在推理阶段执行对称性聚合和验证。

3.1 问题定义

给定一个3D物体的RGB-D图像，我们的目标是检测其外部的反射对称性和/或旋转对称性（若存在）。具体而言：

• 我们最多检测$Mref$个反射对称性$S^{\mathrm{ref}} = \{S_i^{\mathrm{ref}}\}_{i=1,\dots,M^{\mathrm{ref}}$，参数化为$Siref={piref,niref}Siref​={piref​,niref​}$，其中$pirefpiref​属于反射平面，nirefniref​为平面法向。
• 最多检测$Mrot$个旋转对称性$S^{\mathrm{rot}} = \{S_i^{\mathrm{rot}}\}_{i=1,\dots,M^{\mathrm{rot}}$，参数化为$Sirot={pirot,nirot}Sirot​={pirot​,nirot​}$，其中$pirotpirot​位于旋转轴上，nirotnirot​定义轴方向。
  所有对称性均在相机坐标系下表示。

3.2 对称预测网络

首先介绍单对称性预测，再扩展至多对称性输出。

密集点对称预测
我们首先提取RGB和深度图像的特征并融合。参考$L=1N∑i=1NLiL=N1​i=1∑N​Li$​
其中LiLi​为点PiPi​的预测损失。

由于对称性是整体性质，需要全局特征支撑。我们采用空间加权池化（而非平均或最大池化）从点特征中提取全局特征，并与逐点特征拼接作为输入。

为提高预测精度和泛化能力，我们设计了多任务学习框架，任务包括：

1. 1)对称类型分类（0:无对称，1:反射，2:旋转）；
2. 2)对称参数回归；
3. 3)对称对应点位置估计（回归+概率热力图）；
4. 4)输入点是否对称对应点的判断。所有坐标预测均在以当前点为中心的局部坐标系下进行。

给定点PiPi​，其对称损失定义为：
$Li=Litype+LisymLi​=Litype​+Lisym$​
其中$Litype$​为交叉熵损失，$Lisym$​按真实对称类型分支计算。

反射对称损失
如图3a，网络输出点OiOi​（点PiPi​在预测对称平面上的投影点）：
$Liref_reg=d2(Oi,O^i)Liref_reg​=d2(Oi​,O^i​)
法向nirefniref​由其局部坐标推导。对应点损失：
$Liref_cp=1N∑jLcls(pij,p^ij)+d2(Qi,Q^i)Liref_cp​=N1​j∑​Lcls(pij​,p^​ij​)+d2(Qi​,Q^​i​)
其中pijpij​为预测对应概率，QiQi​为回归预测点，wrefwref为权重。

旋转对称损失
如图3b，网络预测OiOi​（点PiPi​在旋转轴上的投影点）及法向nirotnirot​Lirot_reg=d2(Oi,O^i)+∣1−∣nirot⋅n^irot∣∣Lirot_reg​=d2(Oi​,O^i​)+∣1−∣nirot​⋅n^irot​∣∣
对应点损失引入旋转轨道概率预测和离散旋转阶数分类：
$Lirot_cp=1N∑jLcls(pijo,p^ijo)+Lcls(ri,r^i)Lirot_cp​=N1​j∑​Lcls(pijo​,p^​ijo​)+Lcls(ri​,r^i​)
其中riri​为预测阶数（最大R=10R=10），wrotwrot为权重。

多对称性处理方法
为处理多个对称性，网络设计为多路输出（反射Mref=9Mref=9，旋转Mrot=3Mrot=3）。通过最优分配算法（匈牙利算法）解决预测对称性与真实对称的匹配问题，定义收益矩阵：
$Bm,kref=∑j1∣Tmref(Pj)−Tkref(Pj)∣+ϵ(ϵ=0.01)Bm,kref​=j∑​∣Tmref​(Pj​)−Tkref​(Pj​)∣+ϵ1​(ϵ=0.01)
$Bm,krot=1∣Γ∣∑γ∈Γ∑j1∣Tmrot,γ(Pj)−Tkrot,γ(Pj)∣+ϵBm,krot​=∣Γ∣1​γ∈Γ∑​j∑​∣Tmrot,γ​(Pj​)−Tkrot,γ​(Pj​)∣+ϵ1​
其中Γ为角集合{κπ/8}κ=116{κπ/8}κ=116​。通过最大化总收益确定最优分配。

3.3 对称性推断

预测聚合
使用DBSCAN聚类（基于置信度阈值0.2）聚合每个点的预测结果，定义对称性相似性度量为公式(8)(9)。

可见性验证
基于深度图构建体素可见性属性（观测/空闲/未知区域）。检验预测对称性时，将点经对称变换后与空闲区域的重叠度作为误差指标，过滤误差过大（50点以上在空闲区）的预测。

---

关键实现细节

网络架构

• RGB特征提取：5层卷积层H×W×256H×W×256
• 深度特征提取：与N×256N×256
• 全局特征（512维）与局部特征拼接后输入三层MLP（每层含BN）
• 损失权重wref=wrot=0.5wref=wrot=0.5

训练与推理

• 优化器：Adam（初始lr=0.0001, β1=0.9, β2=0.99, 权重衰减0.9）
• Batch size=32
• DBSCAN参数：eps=0.2，最少邻域点数=500
• 可见性验证阈值：与休闲区域碰撞点>50个则过滤该预测

4. PRS-Net：PRS-Net: Planar Reflective Symmetry Detection Net for 3D Models

　　PRS-Net [11] 是第一个无监督对称性检测方法，可以同时检测反射对称性和旋转对称性；然而，反射平面和旋转轴的数量受限制，并且网络参数随着预测反射平面和旋转轴的数量的增加而近似线性增加。