Physics-Augmented Learning: A New Paradigm Beyond Physics-Informed Learning.

https://arxiv.org/abs/2109.13901

摘要

在本文中，作者希望将物理信息学习（physics-informed learning, PIL）进一步推广，从而提出了一个新的模式——物理增强学习（physicsaugmented learning, PAL)。PIL和PAL分别通过处理判别性和生成性属性来相互补充。PAL是对PIL一个补充。类似于PINN，PIL是基于正则化设计的，适用于判别属性，而PAL是基于模型设计的，适用于生成属性。这两种属性的定义作者将在文中给出定义在数值实验中，PAL可以解决一些PIL不适用的案例。但是本文的实验没有涉及到求解微分方程。

介绍

PIL目前被大量的探索应用，其中，PIL要求所执行的物理属性具有判别性而非生成性。为了完善PIL，作者提出PAL框架，在利用判别属性的同时，能够兼顾生成属性。

模型对比

首先，可以根据流程对比图分别了解一下PIL和PAL。

左边是物理信息学习的流程，这就很类似于PINN的结构，损失L1可以理解为数据产生的损失，没有数据时L1损失可以为0。损失L2则是物理损失。右边是作者所提出的物理增强学习框架，区别在于红色方块。红色方块和蓝色方块都代表一个神经网络，但是被设计用来满足不同的性质，简单来说，通过红色方块来满足生成性属性，通过蓝色方块来满足判别性属性。

生成性和判别性

收到GAN的鼓励，作者对一个性质P定义了生成器和鉴别器。下面给出定义。

def 1: Generator

生成器可以生成具有性质P的目标f

def 2: Discriminator

鉴别器可以判别一个目标f是否具有性质P

---

注：为了最大限度的发挥作用，生成器可以由神经网络实现，鉴别器可以作为分类器或者损失函数实现。

---

def 3: Ideal Generator

理想生成器是：1 准确（生成的永远满足要求），2 完整 （可以生成所有正确的目标），3 高效 ，4 可微

def 4: Ideal Discriminator

理想的鉴别器是：1 准确（总能正确分辨），2 高效， 3 可微（需要用于反向传播）

下面定义生成性质和判别性质

def 5: Generative property

性质P是生成性的，如果对于P，存在理想的生成器

def 6: Discriminative property

性质P是判别性的，如果对于P，存在理想鉴别器

---

注：对于上面，我的理解是：以PDE问题为例（如果解是存在的），PINN可以利用神经网络去生成解，所以是生成性的；而我们使用残差损失作为损失函数，理论上可以保证找到真解，所以又是判别性的。目前的工作只使用了判别性，忽略了生成性。但是怎么才能利用生成性呢？

---

文中作者给了几个例子来便于理解。可以看到PDE即是生成性的，又是判别性的。

PIL 和 PAL

PIL

正如在图1中所示的，PIL的常见方法是在损失函数中添加一个软惩罚项L2（对应物理属性），即PIL利用了判别性。

Example：可分性问题的示例：

假设训练数据集（N个样本）由y = f₀（x₁, x₂）生成， 使用参数化的神经网络 f_θ 去拟合数据，并且 f_θ 是加法可分的。PIL使用损失函数 L = L₁ + λ L₂ 进行学习。前一项是预测损失（数据损失），后一项是可分性损失。

根据上面的定义，L2就是利用了判别性得到的。但是，PIL框架只能够在判别性性质时使用，不能考虑生成性，所以作者提出了PAL框架。

PAL

PAL和PIL最大的不同是：PAL基于模型设计，而PIL基于正则化设计。
在PAL框架中，整个模型由两个并行的模块组成，第一个模块（PhyGen）严格满足生成属性，第二个模块增强表达能力以允许违反属性。损失函数同样由预测误差（数据误差）和黑盒输出的某个范数的惩罚项（类似物理损失）组成。

Example：可分问题的PAL版本

在PAL中，我们有两个神经模块PhyGen和Blackbox。PhyGen具有两个子网络，输出它们的和，并严格满足加法可分离性。Blackbox是一个全连接神经网络 f₁₂(x₁，x₂, θ₁₂) ，用来近似任意的双变量连续函数。

那么PAL总的预测就是

那么预测损失就是它与标签y的距离（这里要求真实数据）。黑盒的损失同上，是其输出的某个范数。下图是一个简单的对比。

---

PAL是怎么利用生成性的呢？
根据实验结果去理解了一下。
用上面的例子解释一下就是，因为求解加法可分性问题，所以添加额外的一个组块PhyGen，并且要求它严格满足加法可分性。瞎折腾。

---

实验结果

什么时候使用PAL会好于PIL？

PAL和PIL分别是利用判别性和生成性的互补框架。因此，如果任务属性是生成性且非判别性时，可以使用PAL。另外，由于PAL中存在两个并行的模块，这种模型分解可能会帮助解释一些物理现象。

对提升PDE的训练没有帮助。