ICML 2026 何恺明团队提出GeoPT：提升几何预训练的扩展物理模拟

来源：智能仿真AI4Physics

来源：https://arxiv.org/abs/2602.20399

作者：Haixu Wu, Minghao Guo, Zongyi Li, Zhiyang Dou, Mingsheng Long, Kaiming He, Wojciech Matusik

机构：MIT CSAIL / 清华大学

一、神经模拟器的数据墙

神经模拟器（Neural Simulator）的逻辑很清晰：训练一个算子，输入几何+边界条件，输出压力场、速度场等物理量，跳过传统CFD求解的数值迭代，把推理成本压到一次前向传播。FNO、Transolver等模型在多个工业基准上已经展现出实用潜力。

但有一个根本性的瓶颈没有被解决：训练数据从哪来？

每一个训练样本都需要跑一次完整的数值求解。DrivAerML数据集中，生成单个工业精度的汽车气动样本需要6.1×10⁴ CPU时。这意味着，扩充100个样本就需要约610万CPU时——这是无法通过算力堆砌简单解决的系统性障碍。

对比视觉和语言领域的情况：ImageNet可以从网上爬取，Wikipedia免费开放，这些数据天然以TB级存在。神经模拟器没有这种"免费数据"——物理标签必须靠求解器生成，没有捷径。

GeoPT的核心问题是：能不能用廉价的几何数据（无需物理标签）来预训练神经模拟器，从而在下游任务中少用CFD样本？

答案是肯定的，但有一个不直觉的弯路必须绕过。

二、朴素几何预训练为什么会失败？

直觉上，用几何数据做自监督预训练很自然：让模型从几何预测SDF（符号距离场）或向量距离场，然后在下游CFD任务上微调。ShapeNet提供了5万+个各类几何，代价几乎为零。

但论文的实验结果是：这样做不仅没有帮助，反而使性能显著下降——相比从头训练退步明显。

为什么？作者给出了深刻的分析，并通过可视化使之显而易见。

Transolver学到的聚合权重（代表模型"认为哪些位置相关"）在两种设置下截然不同：使用物理监督时，模型学到前后不对称、左右对称的相关模式，符合气动流场结构（前方滞止区、后方尾迹分离）；使用几何监督时，模型学到前后对称、左右不对称的模式，只是在学形状本身的几何对称性。

根本矛盾在于：下游物理任务的预测目标依赖于几何G和动力学条件S（来流方向、速度等）的联合作用，而纯几何预训练只暴露了G，动力学完全缺失。模型学到的是静态几何相关性，而非动力学驱动的物理相关性——这两者不仅不一致，还会产生负迁移。

这里有一个精辟的表述：朴素预训练在映射几何空间G到特征空间H，而物理任务在映射(G, S)联合空间到解场U。当下游任务所在空间比预训练空间更丰富时，朴素的原生空间预训练必然失败。

三、GeoPT的核心思路：把几何空间"提升"到物理空间

解决方案的出发点来自一个关于粒子运动的物理观察：

在任何物理系统中，位置x处的粒子不是静止的，而是在某个速度场v驱动下运动。这个运动满足：

dx_t/dt = v(x_t, t) · 1_G(x_t)

其中1_G是几何边界的指示函数（粒子碰到物体表面就停止）。这个公式编码了物理模拟的两个核心结构：第一，速度场耦合空间中不同位置，不同初始位置的轨迹可能相交，意味着这些位置在物理响应上是相关的；第二，几何边界终止轨迹，物理响应由边界交互决定——表面压力在气动中如此，接触力在碰撞仿真中亦然。

关键洞察：获取物理确定的速度场需要求解器，但可以随机采样合成速度场v（从有界球内均匀采样），代入同样的运动方程，得到几何约束下的合成轨迹。

这样，预训练的自监督目标变成：在合成动力学下，预测几何特征沿轨迹的演化序列。

预训练损失变为：

L_lifted = E[||F(x; G, V) - h_G(x_{0:τ})||²]

其中h_G(x_{0:τ})是轨迹上各时刻的几何特征（向量距离场值）序列，V是随机速度集合。

这一操作称为"提升（Lifting）"：将预训练从原生几何空间G提升到几何-动力学联合空间(G, V)，而下游物理任务同样在(G, S)的联合空间操作。两者现在对齐了。

理论上，这对应于学习一个任意动力学下的质量守恒传输方程的通解先验——从随机速度场中采样足够多，模型学到的是一个对动力学条件普适的物理先验。

四、GeoPT的系统设计

预训练数据构造：从ShapeNet工业相关子集（汽车、飞机、船舶，共1万+形状）出发，每个几何采样100组随机速度场，每组随机选取查询点并计算轨迹。轨迹离散化为3步。总计134万预训练样本，全程无需CFD求解。监督信号计算（射线-三角相交）仅需约0.2秒/样本（80 CPU核），比工业CFD快10⁷倍，总预计算约3天。

Backbone选择：采用Transolver（一种通过学习潜在物理状态来处理非结构网格的Transformer仿真器），模型规模从Base（3M参数）到Huge（15M参数），均使用256维隐层和32个状态token。GeoPT框架与具体backbone无关，可替换。

下游微调的统一接口：预训练结束后，随机速度场替换为与具体物理条件S对应的任务速度场V_S。

气动仿真：V_S方向取来流方向，幅值取来流速度，覆盖攻角、侧滑角变化；

水动力仿真：水相和空气相分别配置V_S，反映两相流界面；

碰撞仿真：V_S方向取冲击方向，幅值随距碰撞点距离衰减，反映力传播。

同一预训练模型，通过速度场的配置，就能适配完全不同的物理域——这是一个优雅的统一接口设计。

五、实验：在工业基准上验证

五个工业级基准：DrivAerML（汽车气动，RANS，网格约1.6亿点，约6TB）、NASA-CRM（飞机气动，RANS，约45万点）、AirCraft（飞机气动，含速度/攻角/侧滑变量）、DTCHull（船舶水动力，双相RANS，OpenFOAM）、Car-Crash（汽车碰撞，OpenRadioss，预测最大von Mises应力）。

每个任务仅使用约100个训练样本（对应工业实践中有限仿真预算），测试集20-50个样本。

核心结论：

第一，减少20-60%数据需求。GeoPT在所有五个基准上均优于从头训练，在仅使用40-80个样本时达到接近全数据（100个样本）训练的性能。DTCHull改善最显著（60%数据减少），因为该任务几何多样性最高，预训练的几何先验收益最大；NASA-CRM改善较小，因其几何变化集中在副翼局部，预训练的广义几何知识用武之地有限。

第二，收敛速度提升2倍。在相同训练样本数下，GeoPT达到收敛精度的epoch数减半。对工业工作流意义重大——调参迭代周期缩短一半。

第三，与朴素几何预训练的对比。与直接用SDF或向量距离场做几何预训练相比，GeoPT（动力学提升预训练）在所有任务上均优，而朴素几何预训练在多个任务上不如从头训练，验证了"提升"的必要性。

第四，模型规模扩展性。从头训练时，Transolver的性能随模型增大会出现过拟合瓶颈（工业数据量有限导致）；加入GeoPT预训练后，大规模几何数据起到了正则化作用，大模型能稳定受益于增大参数量。这指向了一个scaling的正确路径。

第五，跨域泛化。将GeoPT迁移到辐射度（Radiosity）仿真——这是一个涉及光传输、与原任务物理机制完全不同的领域——GeoPT仍然带来了一致的性能提升。

六、分析与思考

为什么动力学提升有效但朴素预训练有害？

从表征学习角度看，朴素几何预训练让模型学会了识别"前后对称的流线型物体"，而气动模拟要学的是"来流从前向后流过导致前后不对称压力分布"。两个任务的特征归纳偏置截然相反，迁移不仅无益而且有害。动力学提升预训练通过引入速度方向，使模型从预训练阶段就开始建立"方向性特征"——方向性正是流场物理的核心属性。

局限性：GeoPT目前聚焦于稳态仿真，瞬态（时间依赖）问题尚未验证。ShapeNet的几何风格与工业CAD几何（精密曲面、细小特征）仍有差距，预训练几何的质量上限可能制约精度上限。此外，每个下游任务的速度场编码（V_S的具体设计）依赖领域知识，不完全自动化。

七、小结

GeoPT提出的核心论点非常清晰：几何数据不能直接用于神经模拟器的自监督预训练，必须通过注入合成动力学将其"提升"到几何-动力学联合空间。这个"提升"操作本质上是在用随机物理过程填补静态几何与动态物理之间的语义鸿沟，代价极低（合成数据），收益可观（20-60%数据节省）。

对于工业仿真团队而言，这意味着一个可实际落地的路径：用一次预训练（几何数据廉价易得），换取在每个新物理任务上更快的收敛和更少的CFD仿真配额消耗。在每个CFD样本成本动辄数万CPU时的背景下，这不是锦上添花，而是方法论层面的实质性突破。