物理约束机器学习在科学计算中的应用解析

机器学习在商业应用领域频频登上新闻头条，而在科学计算领域，深度学习的方法也显示出潜力，它们被用于预测偏微分方程（PDE）的解。这些方程的数值求解通常计算成本极高；使用数据驱动的方法有可能改变科学和工程应用领域的科学计算，包括空气动力学、海洋与气候以及油藏建模等领域。

一个根本性的挑战在于，基于物理数据训练的深度学习模型的预测通常忽略了基本的物理原理。例如，这类模型可能会违反系统的守恒定律：热传递问题的解可能无法守恒能量，或者流体流动问题的解可能无法守恒质量。同样，模型的解也可能违反边界条件，比如允许热量通过物理系统边界的绝缘体流出。即使模型的训练数据中没有此类违反情况，这种情况也可能发生：在推理时，模型可能只是以不合规的方式从训练数据的模式中进行外推。

在国际机器学习会议（ICML）和国际学习表征会议（ICLR）接收的两篇近期论文中，研究者探究了在计算偏微分方程的解时，将已知的物理约束添加到机器学习模型预测输出中的问题。

ICML 论文（将于七月发表）"Learning physical models that can respect conservation laws"，重点关注使黑盒模型满足守恒定律。研究表明，对于某些具有传播不连续性（称为激波）的具有挑战性的偏微分方程问题，所提出的约束模型输出的方法比前人的工作效果更好：它能更清晰、更准确地捕捉物理解及其不确定性，并在下游任务上获得更好的性能。这篇论文是与密歇根大学统计系的博士生 Derek Hansen（当时是某中心 AI 实验室的实习生）以及某中心供应链优化技术组织的某机构学者、加州大学伯克利分校的统计学教授 Michael Mahoney 合作完成的。

在今年 ICLR 会议上发表的另一篇互补性论文"Guiding continuous operator learning through physics-based boundary constraints"中，研究者与当时担任某中心 AI 实验室实习生、斯坦福大学计算与数学工程研究所（ICME）博士生的 Nadim Saad 共同合作，重点探讨了通过边界条件来强制实施物理规律。这篇论文中描述的建模方法是一种所谓的约束神经算子，与之前的算子模型相比，它表现出高达 20 倍的性能提升。

为了让研究物理系统模型的科学家能从这项工作中受益，已经在 GitHub 上发布了这两篇论文中描述的模型的代码（守恒定律 | 边界约束）。2023 年 3 月，还在 AAAI 的计算方法促进科学发现研讨会上介绍了这两项工作。

守恒定律

近期科学机器学习（SciML）的研究重点是将物理约束作为损失函数的一部分纳入学习过程。换句话说，物理信息被当作软约束或正则化项来处理。

这些方法存在的一个主要问题是，它们无法保证物理上的守恒性质得到满足。为了解决这个问题，在"Learning physical models that can respect conservation laws"中，研究者提出了 ProbConserv 框架，用于将约束融入通用的 SciML 架构中。ProbConserv 不是将守恒定律表示为偏微分方程的微分形式（SciML 中常用作损失函数的附加项），而是将其转换为积分形式。这使得研究者能够利用有限体积法的思想来强制执行守恒。

在有限体积法中，空间域（例如热量传播的区域）被离散化为一组称为控制体积的更小的体积单元。该方法通过在每个控制体积上局部应用守恒定律的积分形式，来维持整个域的质量、能量和动量平衡。局部守恒要求一个体积单元的流出通量等于相邻体积单元的流入通量。通过在每个控制体积上强制执行守恒定律，有限体积法保证了整个域的全局守恒，其中系统总质量的变化率由沿域边界的通量变化给出。

具体而言，ProbConserv 方法的第一步是使用概率机器学习模型（如高斯过程、注意力神经过程或神经网络模型的集成）来估计物理模型输出的均值和方差。然后，利用守恒定律的积分形式对解剖面分布的均值和协方差进行贝叶斯更新，使其在极限情况下精确满足守恒约束。

在论文中，研究者详细分析了 ProbConserv 在广义多孔介质方程（GPME）上的应用，这是一个广泛使用的参数化偏微分方程族。GPME 的应用范围从地下流动传输、非线性热传导到海水淡化等。通过改变偏微分方程的参数，可以描述具有不同复杂程度的偏微分方程问题，从“简单”的问题（如模拟平滑扩散过程的抛物型偏微分方程）到“困难”的具有激波的非线性双曲型偏微分方程，例如用于模拟水与冰之间的两相流、晶体生长以及泡沫等更复杂多孔介质的 Stefan 问题。

对于简单的 GPME 变体，ProbConserv 与最先进的竞争对手表现相当；对于更困难的 GPME 变体，它优于其他不保证体积守恒的基于机器学习的方法。ProbConserv 无缝地强制执行物理守恒约束，保持概率不确定性量化（UQ），并能很好地处理激波传播估计问题（考虑到机器学习模型偏向于平滑和连续的行为，这个问题很困难）。它还能有效地处理异方差性。在所有情况下，它都在下游任务（如预测激波位置）上实现了卓越的预测性能，而激波位置预测即使对于先进的数值求解器也是一个具有挑战性的问题。

示例

当偏微分方程作为损失函数上的软约束（例如，物理信息神经网络 PINNs 中的 SoftC-ANP）时，黑盒深度学习模型（这里是 ANP）仍可能违反质量守恒。该图显示了平滑常系数扩散方程（一个“简单”的 GPME 示例）的总质量随时间的变化。真实质量保持为零，因为域边界净通量为零，因此域内部不能产生或销毁质量。

密度解剖面图及不确定性量化。在“困难”版本的 GPME 问题（也称为 Stefan 问题）中，解剖面可能包含空间中的移动尖锐界面，称为激波。此处的激波将流体区域与零流体密度的退化区域分开。不确定性在激波区域最大，在远离它的区域变小。ProbConserv 的不确定性量化方法背后的主要思想是利用无约束黑盒模型的不确定性，在方差最大的位置修正均值和协方差，以满足守恒约束。基线模型 HardC-ANP 中的恒定方差假设在此困难任务上没有带来改进，而 ProbConserv 则能更好地估计激波处的解，并将均方误差（MSE）降低了三倍。

下游任务。由 ProbConserv 和其他基线模型计算出的激波位置后验分布直方图。虽然基线模型使激波位置的分布发生偏移，但 ProbConserv 计算的分布很好地集中在真实激波位置周围。这说明，为了提供可靠且准确的激波位置估计，强制执行诸如守恒之类的物理约束是必要的。

边界条件

边界条件是物理强制的约束，偏微分方程的解必须在特定的空间位置满足这些约束。这些约束具有重要的物理意义，并保证了偏微分方程解的存在性和唯一性。当前旨在求解偏微分方程的基于深度学习的方法严重依赖训练数据来帮助模型隐式地学习边界条件。然而，无法保证这些模型在评估时会满足边界条件。在 ICLR 2023 的论文"Guiding continuous operator learning through physics-based boundary constraints"中，研究者提出了一种高效的、硬约束的、基于神经算子的方法来强制执行边界条件。

大多数 SciML 方法（例如 PINNs）使用神经网络对偏微分方程的解进行参数化，而神经算子的目标是学习从偏微分方程系数或初始条件到解的映射。每个神经算子的核心是一个核函数，它被表述为一个积分算子，描述了物理系统随时间的演化。在这项研究中，研究者选择傅里叶神经算子（FNO）作为基于核的神经算子的示例。

研究者提出了一种称为边界强制算子网络（BOON）的模型。给定一个表示偏微分方程解的神经算子、一个训练数据集和规定的边界条件，BOON 对该神经算子进行结构修正，以确保预测的解满足系统边界条件。

研究者提供了修正过程，并证明 BOON 的解满足基于物理的边界条件，如 Dirichlet、Neumann 和周期性边界条件。研究者在广泛的问题上进行了大量数值实验，包括热传导方程、波动方程、Burgers 方程以及用于气候和海洋建模的具有挑战性的二维不可压缩 Navier-Stokes 方程。研究表明，强制执行这些物理约束可以实现零边界误差，并提高域内部解的准确性。BOON 的修正方法相对于给定的神经算子模型，在相对 L2 误差上表现出 2 倍到 20 倍的改进。

示例

边界绝缘体处的非零通量。热传导方程的无约束傅里叶神经算子（FNO）模型的解在左侧绝缘边界处具有非零通量，这意味着它允许热量流过绝缘体。这与物理强制的边界约束直接矛盾。满足此 Neumann 边界条件的 BOON 确保了梯度在绝缘体处为零。同样，在右边界处，可以看到 FNO 解在正热源处具有负梯度，而 BOON 解纠正了这一非物理结果。保证不违反底层物理，对于该领域从业人员实际采用这些深度学习模型至关重要。

Stokes 第二问题。该图显示了 BOON（上图）获得的随时间变化的速度剖面及相应的绝对误差。BOON 提高了边界处的精度，重要的是，与无约束的傅里叶神经算子（FNO）模型（下图）相比，它也提高了域内部的精度。在 FNO 模型中，边界处的误差随时间向内传播。

二维 Navier-Stokes 顶盖驱动方腔流初始条件。初始涡量场（垂直于屏幕），定义为速度场的旋度。在初始时间步 t=0，水平速度唯一的非零分量由顶部恒定的 Dirichlet 边界条件给出，该条件驱动了后续时间步的粘性不可压缩流动。其他边界具有常见的无滑移 Dirichlet 边界条件，将速度固定为零。

二维 Navier-Stokes 顶盖驱动方腔流涡量场。充满不可压缩流体的方形空腔内的涡量场（垂直于屏幕），由顶部边界线规定的固定非零水平速度的 Dirichlet 边界条件诱导，进行 25 步（T=25）预测至最终时间 t=2。

L2 相对误差图显示，在 Navier-Stokes 顶盖驱动方腔流问题上，数据驱动的傅里叶神经算子（FNO）随时间变化的相对误差显著高于其约束的 BOON 模型（针对随机测试样本和测试样本平均值）。

致谢： 这项工作的完成离不开合著者某机构学者 Michael W. Mahoney；合著者及博士生实习生 Derek Hansen 和 Nadim Saad；以及导师 Yuyang Wang 和 Margot Gerritsen 的帮助。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）

公众号二维码

公众号二维码