从域泛化到泛化：重新理解Distribution Shift

写在前面

前两年，主要研究域泛化的问题。不过，一直是“依葫芦画瓢”的学习过程，其实想法大部分来自于天马行空的猜想，脑海里没有建立起对泛化的定义。最近，在思考VLA、世界模型等方向的泛化问题，打算把前两年的域泛化作为理论支撑并应用到其他研究方向，但是在这个过程中，我不断问自己什么是域泛化，什么是泛化，所以我想写下来我的观点，然后不断揣摩并改进。

我曾经认为单域泛化研究的是在一个域上训练，在不同域上进行测试，主要解决的是不同域之间的风格差异巨大从而导致分类效果不佳的问题（突然发现，也许这就是不少论文从风格角度进行解决的原因），并且只能用在视觉图像分类中。随着接触的VLA、世界模型、具身智能的相关工作，我发现许多论文都在讨论“泛化”这一个概念，甚至泛化问题是这些研究方向中的一个很大的挑战。

比如：

• 新环境的泛化
• 新任务的泛化
• 新语言指令的泛化
• 新机器人的泛化

它们都叫泛化（Generalization）。于是我开始思考什么是泛化。

鲁棒性与泛化性

在一次面试过程中，被面试老师问到了这个问题。一下子没有回答上来，所以趁此机会也记录一下。

鲁棒性	泛化性
输入在扰动下，模型依旧能保持正常输出	面对没有见过的样本输入，模型依旧能保持正常输出

鲁棒性：强调输入变化

泛化新：强调没有见过的样本

泛化的本质：Distribution Shift

通常，泛化的定义是：\(P_{train}(X,Y) \neq P_{test}(X,Y)\)，即训练集与测试集的分布不同。在这种情况下，如果模型还能保持良好的性能，那么就认为其有很好的泛化性能。但这个定义太宽泛了，许多问题都能被这么定义。所以我从概率论的角度继续思考，打算把这个联合概率分布拆开看。

\[P_{train}(X,Y) = P_{train}(X|Y)P_{train}(Y) = P_{train}(X)P_{train}(Y|X) \]

\[P_{test}(X,Y) = P_{test}(X|Y)P_{test}(Y) = P_{test}(X)P_{test}(Y|X) \]

我们最常看到的可能是\(P(X,Y)=P(Y|X)P(X)\)，其中分类器学习的是\(P(Y|X)\)，即给定图像预测类别。

在泛化部分，我们需要关注的是\(P(X,Y)=P(X|Y)P(Y)\)。因为分布偏移描述的是数据生产过程，在同一个标签下，反映出不同的样本。比如训练集是Dog \(\rightarrow\) 真实图片；测试集是 Dog \(\rightarrow\) 卡通图片。因此，域泛化领域的前提假设是\(P(X|Y)\)在发生变化，即\(P_{train}(X|Y) \neq P_{test}(X|Y)\)，而\(P(Y)\)保持不变。

以前看论文，我总是不知道论文的核心假设是什么。没想到在这次记录的过程中，我认识到了域泛化的假设。还是得多思考，多总结呀！知道核心假设后，从不同方向打破假设，说不定就可以有新的想法了。

标签空间变化与标签概率变化

我们之前谈到了，在域泛化领域中，假设\(P(Y)\)保持不变。这是什么呢？

在此之前，先区分两个概念。

标签空间不变	标签概率不变
训练集和测试集的标签相同，测试集中不会有新的标签	各个标签的概率不一定相同，但是在训练集和测试集中，各个标签的概率保持一致，即训练集的概率是多少，测试集中的概率也是多少

在传统域泛化领域，假设\(P(Y)\)保持不变，也是指标签空间不变和标签概率不变。标签空间发生变化是开放集问题；标签概率发生变化是标签偏移问题（label shift）。

推广到VLA

看到这里，应该不难看出域泛化只是泛化的一个具体应用。泛化的本质是分布偏移，通过把联合分布拆开，可以看到其受哪些因素影响。针对这些因素改变，就是不同方向的泛化问题。

VLA中基础的分布是\(P(V,L,A)\)

• Vision：视觉
• Language：语言
• Action：动作

在训练集和测试集中，分布往往都不一致，因此泛化是一个很重要的问题。现在通过拆分联合概率分布，去挖掘其中的哪些不变，哪些改变。

• \(P(V,L,A)=P(A|V,L)P(V,L)=P(A|V,L)P(V|L)P(L)=P(A|V,L)P(L|V)P(V)\)
  • \(P(V,L)\)几乎一定会改变，因为环境光照、相机角度、不同的指令等。
    • 继续拆分，可以看出控制视觉的前提下，语言的泛化；控制语言的前提下，视觉的泛化
  • 希望不变的就是\(P(A|V,L)\)，环境变化不影响策略。

这只是最基础的分布。在VLA中，可能还会添加任务、不同机器人等因素。