论文解读-《Order Learning – An Overview》

1. 论文介绍

论文题目：Order Learning – An Overview
论文领域：顺序学习的综述
论文发表：APSIPA Transactions on Signal and Information Processing 2023
论文背景：

2. 论文摘要

顺序学习是通过比较对象来学习对象之间的顺序关系。近年来，几种有序学习技术在各种计算机视觉任务中取得了良好的性能。在本文中，我们概述了这些顺序学习技术。首先，我们简要讨论了与阶学习相关的传统秩估计算法。其次，我们详细回顾了顺序学习技术。第三，我们讨论了顺序学习在三个视觉应用中的结果：面部年龄估计，彩色图像e的拍摄年代（HCI）分类和美学质量评估。

3. 介绍

顺序回归（ordinal regression），是一个典型的秩估计rank estimation的方法。但是在一般应用中，秩和秩之间没有明确的边界，如人脸年龄估计，每一个个体的年龄都有很大的个体差异性。

秩估计可以分为三个类：分类，有序回归，成对比较。

每一个分类有着不同的架构。

分类器方法：使用二分类，每一个只判断是否大于，最后的结果由K（rank的个数）个分类结果综合得到。
有序回归（Ordinal Regression）直接使用分类器或回归器来判断样本的rank。
LTR方法（Learning-to-rank），使用一个排序网络，输出样本与样本之间的关联关系。

4. 主要内容

4.1 顺序学习

成对比较：给定样本x和y，比较器训练的最终优化的是交叉熵损失函数为

其中

是ground-truth的独热编码。

秩估计：评估样本x是需要把x和m个参考样本进行比较，这m个样本是根据可信分数从训练集中选择，对于参考样本y来说，可信分为

那么评估一个样本的预测函数为

所以决定最终标签的是根据最大一致性原则，从m个参考样本中选择最大一致性的标签，公式为

4.2 DRC-ORID

DRC-ORID算法可以把信息分解为顺序特征和身份特征。根据身份特征分为k个集合，在集合内部在进行顺序特征的排序。
ORID，（Order-Identity Decomposition）顺序-身份的信息分解
整个ORID架构分为：自动编码器，分类器，判别器

DRC，（Deep Repulsive Clustering）深度互斥聚类方法
对于身份信息的样本x，聚成k类后，衡量聚类质量函数为

DRC是一个迭代算法，有以下两个规则

• 1，中心点规则；通过固定中心点，最大化质量函数，更新中心点。基于拉格朗日乘子，最优中心点为
  
• 2，最近邻规则
  

4.3 MWR（Moving Window Regression）移动窗口回归

MWR更加高效，同时把测试样本跟两个参考样本对比。所以可以获取到比Ordered learning 更精确的顺序关系
MWR使用一个连续回归分数p-rank，作用是ρ-rank量化了输入实例与参考实例在排序上的序数关系：它测量输入值比第一个参考值大多少，以及比第二个参考值小多少。

为了评估p-rank，提出p-regressor，其中h是特征提取器，最终的回归模块同时基于三者的特征来做回归估计。

整个MWR算法是：先提取特征，然后使用KNN找到对应的聚类中，最后是迭代算法，通过多次迭代找样本算法来找到最后的

参考样本选择：为了更高效的评估其秩，需要采用高效选择比较样本的方法。首先基于回归误差

其中W是 y1-a，y2+a区间内的所有样本。最优的y1和y2的选择有着最小的回归误差，满足以下的

和

4.4 几何顺序学习

在秩估计中顺序与度量传达互补信息：顺序提供等级间的方向性信息，而度量则传递长度（或差异幅度）信息。
几何顺序学习是同时关注顺序和度量关系，去评估一个样本的秩。

GOL目的是要构建一个特征空间，样本之间方向和距离分别可以表示两者之间的顺序和度量关系。
顺序约束：有方向向量表示r到s的方向的单位向量

其中正向和反向的方向向量为

所以有：

为了计算限制，有softmax概率为

可以得到顺序损失函数为

度量限制：度量限制被定义为

其中de是欧式距离，δ是一个边界量。
当x < y 的时候，有损失函数

当两者近似时候，有损失函数

总的损失函数为

4.5 链条化 Chainization

对于X是样本集合，L是一个线性序列。

上面的L是一个全量集合，包含了所有的x和y的对，为了减少量，给出部分有序集P为

链式化算法的目标是将部分有序集P线性扩展或"链式化"为一个线性有序集L。
序列的图表示：上面的部分有序集P可以转为一个有向无环图G，那么从P到L的表示可以找到一个顶点排序函数

对于一个顺序，链条排序算法使用成对比较器，算法可以在已知序列集合P上进行训练，损失函数为

其中，D是KL散度，衡量两个概率分布差异的指标，替代交叉熵。

链条化算法伪代码为

整个架构为

5. 应用

顺序学习可以应用广泛，有脸部年龄估计，HCI分类，图像美学质量评估，
脸部年龄识别，实验设置，给出了文中所列算法的优势

6. 结论

有序学习的综述论文，主要是在排序算法的比较子上下功夫。算是拿特征提取和排序比较子的一个好的结合。