保序回归问题学习笔记

保序回归问题

发现好像保序回归鸽了太久了，总是被喜欢保序回归的 \(\text{CXY07}\) 暴虐，悟一下论文

问题描述

给定正整数 \(p\)，和一张偏序关系形成的 \(DAG\)，和代价函数 \((y,w),w_i>0\)，其中如果 \(i\) 能到达 \(j\)，则有 \(v_i\leq v_j\) 的偏序关系

求点值序列 \(f\)，满足对于点对 \((i,j)\) 满足 \(v_i\leq v_j\)，均有 \(f_i\leq f_j\)，最小化回归代价：

\[\sum_{i=1}^nw_i|f_i-y_i|^p,p\in[1,+\infty)\\ \max\{w_i|f_i-y_i|\},p=+\infty \]

对于相同的 \(p\)，统称 \(L_p\) 问题

约定

1. 称"将序列 \(a\) 中不大于 \(l\) 的元素变为 \(l\)，不小于 \(r\) 的元素变成 \(r\)"为将序列 \(a\) 向集合 \([l,r]\) 取整
2. 称点集 \(S\) 的 \(L_p\) 均值为满足最小化 \(\sum_{i=1}^nw_i|v-y_i|^p,p\in[1,+\infty)\) 或 \(\max\{w_i|v-y_i|\},p=+\infty\) 的 \(v\) 值

特殊情形下的做法

贪心算法——例1 Approximation

给定长度为 \(n\) 的正整数序列 \(y,w\) ，求单调不减的实数序列 \(f\) ，最小化 \(\sum_{i=1}^nw_i(f_i-y_i)^2\) 。

\(n\leq 2\times 10^5\)

​ 引理 1：点集 \(S\) 的 \(L_2\) 均值为其加权平均数 \(\dfrac{\sum_{i\in S}w_iy_i}{\sum_{i\in S}w_i}\)

​ 证明：运用导数易证

​ 引理 2：\(\forall 1\leq i<n\)，若有 \(y_i>y_{i+1}\)，那么最优解中一定满足 \(f_i=f_{i+1}\)

​ 证明见论文

​ 有了上述两个引理算法就很 naive 了

​ 我们只需要把 \(y_i>y_{i+1}\) 的 \(i\) 全部合并到一起用 \(L_2\) 均值即可

​ 具体实现可以使用单调栈，时间复杂度 \(O(n)\)

事实上，这样的做法可以扩展到 \(1\leq p<+\infty\)，只需将 \(L_2\) 均值改成 \(L_p\) 均值即可

但是这个做法无法推广到一般的偏序结构上，因为引理2不再成立

维护折线算法——例2 「2018 集训队互测 Day 2」有向图

给定一个 \(n\) 个点 \(n−1\) 条边的有向弱连通图 \(G = (V, E)\) ，每个点均有点权 \(d_i\) 和修改耗时 \(w_i\) 。

对于每个 \(i(1\leq i\leq n)\) ，每次修改可以花费 \(w_i\) 的时间把 \(d_i\) 加 \(1\) 或减 \(1\) ，求最少消耗多少时间，使得 \(\forall(u, v)\in E,d_u ≤ d_v\) 。

\(n\leq 3\times 10^5,1\leq d_i\leq 10^9,1\leq w_i\leq 10^4\)

​ 题目等价于偏序集为一棵树的 \(L_1\) 问题，即最小化 \(\sum_{i=1}^nw_i|f_i-d_i|\)

​ 容易想到树形 dp

​ 首先，\(f_i\) 的取值一定在集合 \(D=\{d_1,d_2,\dots,d_n\}\) 中，记 \(D_i\) 表示集合 \(D\) 中第 \(i\) 小的元素

​ 设 \(f_{i,j}\) 表示 \(f_i=D_j\) 且将边看成无向边时，最小的 \(\sum_{k\in subtree(i)}w_k|f_k-d_k|\)

​ 动态规划的转移可以根据子边的指向利用 \(P_{i,j}=\min_{k\leq j}f_{i,k},S_{i,j}=\min_{k\geq j}f_{i,k}\) 来转移

​ 引理：\(\forall x\in [1,n],f_x,P_x,S_x\) 均为斜率单调不降的折线

​ 证明：对于叶子节点 \(x\)，显然满足

​ 对于任意节点 \(x\) ，其 \(f_x\) 可以由其所有子节点的 \(P_x\) 或 \(S_x\) 以及折线 \(y=w_i|x−d_i|\) 叠加得到

​ 而 \(P_x\) 为将 \(f_x\) 斜率大于 \(0\) 的部分变成 \(y=\min f_{i,j}\) ， \(S_x\) 为将 \(f_x\) 斜率小于 \(0\) 的部分变成 \(y=\min f_{i, j}\)

​ 所以可以归纳地证明结论

​ 可以用线段树维护折线 \(f,P,S\) 的每一段，显然折线的分界点在集合 \(D\) 中

​ 运用线段树合并即可实现此问题，时间复杂度 \(O(n\log n)\)

我们发现维护折线的做法仍然无法向一般的偏序结构上扩展，瓶颈在于需要整张图的偏序结构支持自底向上的 dp

一般问题的做法

整体二分法

考虑在 \(L_p\) 问题的基础上构造一个新的 \(S=(a,b)\) 问题：

在满足原问题的所有限制条件下还满足限制 \(a\leq f_i\leq b\)，最小化回归代价

\(p=1\) 的情况

引理：在 \(L_1\) 问题中，如果任意 \(y_i\) 均不在区间 \((a,b)\) 内，且存在一个最优解序列 \(f\) 满足其 元素 \(f_i\) 均不在区间 \((a,b)\) 内，若 \(f^S\) 为 \(S\) 问题的一组最优解，那么一定存在 \(f\) 是原问题的一组最优解且 \(f\) 可以通过向 \(S\) 取整得到 \(f^S\) 。

​ 证明见论文

根据引理，通过一组 \(S\) 问题的最优解，可以知道某一组原问题最优解中 \(f_i\) 与 \(a,b\) 的大小关系

对于 \(L_1\) 问题，最优解 \(f_i\) 一定在 \(Y=\{y_1,y_2,\dots,y_n\}\) 中，故只需要在该集合上做整体二分：

当二分到区间 \([l,r]\) 时，计算 \(S=(Y_{mid},Y_{mid+1})\) 问题的最优解，即可将节点划分到左右两边

这样对于每个节点，仅需 \(\log n\) 层计算即可确定选值

\(1<p<+\infty\) 的情况

引理 1：当 \(1<p<+\infty\) 时，任意集合 \(S\) 的 \(L_p\) 均值是唯一的

​ 证明：求导证明导函数单调性和至少有一个零点即可，具体证明见论文

引理 2：如果 \(V\) 的任意非空子集的 \(L_p\) 均值均不在区间 \((a, b)(a<b)\) 内，且存在最优解 \(f\) 满足其元素 \(f_i\) 也均不在 \((a,b)\) 内。若 \(\hat f\) 为相同偏序集上代价函数为 \((y',w')\) 的 \(L_1\) 问题的一组最优解：

\[(y'_i,w'_i)=\left\{\begin{matrix}(0,w_i((b-y_i)^p-(a-y_i)^p)),y_i\leq a\\(1,w_i((y_i-a)^p-(y_i-b)^p)),y_i>a\end{matrix}\right. \]

存在 \(f\) 是原问题的一组最优解，满足 \(\hat f_i=0\) 当且仅当 \(f_i\leq a\) 。

​ 证明见论文

根据引理1，最优解中的元素和所有的 \(L_p\) 均值的并集为有限集，故对于任意 \(a\) ，一定存在 \(\epsilon>0\)，满足区间 \((a,a+\epsilon)\) 中不存在上述元素

考虑到引理2中的 \(w'_i\) 直接做是一个浮点数，可能有精度问题，我们可以把所有 \(w'_i\) 除以 \(\epsilon\)

则 \(w'_i\) 取 \(f(x)=w_i(x-y_i)^p\) 或 \(w_i(y_i-x)^p\) 的导数即可，注意第二种式子可能需要带负号

套用 \(p=1\) 的做法，改成实数上整体二分即可

对于 \(f_i\) 取值为整数的情况下，可以参考 [省选联考 2020 A 卷] 魔法商店

建立网络流模型

对于 \(L_1\) 上的 \(S\) 问题，可以看作一个 \(0/1\) 决策问题，而 \(f_i\leq f_j\) 的限制可以看作 \(f_i\) 选 \(1\) 时 \(f_j\) 也得选 \(1\)

这样问题就变为了经典的最小权闭合子图问题，可以用网络流解决

例3 ExtremeSpanningTrees

给定一张 \(n\) 个点 \(m\) 条边的无向连通图 \(G = (V, E)\) 和边集 \(E_1,E_2(E_1,E_2\in E)\) ，每条边有初始的权值 \(d_i\) ，每次操作可以把一条边的权值加 \(1\) 或减 \(1\) ，求通过最少多少次操作可以满足：

1. 边集 \(E_1\) 组成的子图是整张图的最小生成树
2. 边集 \(E_2\) 组成的子图是整张图的最大生成树

\(n\leq 50,m\leq 1000\)

可以对 \(m\) 条边建立偏序关系，计算生成树中非树边和其对应树上路径中的树边的偏序关系

之后问题转化为一般偏序集上的 \(L_1\) 问题

特殊偏序结构上的优化

树上问题

对于类似例2的偏序集为树形的保序回归问题，可以在整体二分的基础上套用线性的树形 dp 来解决 \(S\) 问题

特别的是，该算法能够扩展到仙人掌上，在环上 dp 时只用枚举一个点的 \(0/1\) 选值，破环成链即可

时间复杂度为 \(O(n\log n)\)（忽略了计算 \(x^{p-1}\) 的复杂度）

多维偏序

未施工

\(L_{\infty}\) 问题的算法

二分法

由于 \(L_{\infty}\) 问题要求最小化 \(\max\)，想到二分答案

每次二分后可以确定每个点的选值范围，然后在 \(DAG\) 上 dp

计算每个点在考虑完所有其后继节点后 \(f_x\) 的最小值并检查其是否可行

时间复杂度 \(O(m\log \max{y_i})\)