Nat. Commun. | 基于多视角几何图Transformer的晶体材料性质预测方法

DrugAI

发布于 2026-06-08 14:08:49

晶体结构的准确表征是推动机器学习应用于大规模晶体材料模拟的关键。然而，如何有效捕获并利用晶体结构复杂的几何与拓扑特征，仍然是当前晶体性质预测领域面临的重要挑战。研究人员提出了一种多视角图Transformer模型（Multi-view Graph Transformer，MGT），同时建模SE(3)不变标量表示和SO(3)等变方向表示，从而兼顾晶体结构中的平移旋转不变性与方向信息表达能力。模型通过受混合专家机制启发的路由器模块，对两类几何表示进行自适应融合，并结合多任务自监督预训练策略提升结构理解能力。

在多个晶体性质预测基准测试中，MGT相较于现有最先进模型最高可将平均绝对误差降低14%。消融实验和可解释性分析表明，自监督预训练与专家路由机制均对性能提升具有重要贡献。在迁移学习任务中，包括晶体催化剂吸附能预测和杂化钙钛矿带隙预测，MGT相较于已有方法最高实现58%的性能提升。研究结果表明，MGT是一种具有良好泛化能力和可扩展性的晶体材料性质预测框架，有望加速新型功能材料的发现。

晶体材料广泛应用于能源存储、催化、药物研发以及半导体设计等领域。准确预测晶体材料的性质对于新材料发现具有重要意义。然而，传统的密度泛函理论（DFT）计算和分子动力学模拟往往计算成本高昂，难以满足大规模筛选需求。随着图神经网络的发展，研究人员逐渐利用晶体图结构建立高效的材料性质预测模型，例如CGCNN、Matformer、PotNet等方法。

尽管这些模型取得了显著进展，但仅依赖局部图结构往往无法完整描述晶体的几何特征，不同晶体可能映射到相同的图表示，从而限制预测能力。为解决这一问题，研究人员开始引入SE(3)不变和SO(3)等变表示，通过显式考虑晶体空间对称性来提升模型表达能力。已有工作如ComFormer证明，两类表示均能够有效提升晶体性质预测性能。

然而，现有方法通常单独使用SE(3)不变表示或SO(3)等变表示，尚未充分挖掘两者之间的互补优势。缺乏统一框架实现多视角几何信息融合，已成为限制晶体性质预测进一步发展的关键问题。基于这一背景，研究人员开发了MGT框架，通过联合建模两种几何表示，实现更全面的晶体结构理解。

方法

MGT由两个图Transformer编码器和一个轻量级混合专家路由模块组成。其中，一个编码器负责提取SE(3)不变几何特征，包括原子间距离和角度信息；另一个编码器负责学习SO(3)等变几何特征，通过球谐函数和张量积运算保留方向相关信息。随后，模型利用基于自注意力机制设计的MoE-inspired路由器，根据具体任务动态调整两种表示的权重，实现任务自适应融合。

为了增强模型泛化能力，研究人员进一步设计了多任务自监督预训练策略，包括去噪学习和对比学习两部分。去噪学习通过向几何特征添加随机扰动并恢复噪声，强化模型对晶体几何结构的感知能力；对比学习则最大化SE(3)与SO(3)表示之间的互信息，促进两种视角特征协同学习。预训练完成后，模型再通过监督学习完成下游晶体性质预测任务。

结果

MGT在多个晶体性质预测基准上达到最优性能

研究人员在Materials Project和JARVIS两个主流晶体数据库上评估MGT性能，共涉及九项晶体性质预测任务，包括形成能、带隙、体模量、剪切模量、总能量以及稳定性等指标。

与CGCNN、ALIGNN、Matformer、PotNet、ComFormer和ReGNet等先进模型相比，MGT在八项任务中取得最佳结果，平均绝对误差降低幅度达到2.1%至13.6%。仅在JARVIS数据集总能量预测任务中略逊于ReGNet。

预测结果显示，所有任务的R²均超过0.95，预测值与真实值高度一致，证明模型具有优异的拟合能力和稳定性。此外，多次随机种子重复实验进一步验证了MGT结果的稳健性。

图1：多视角几何图Transformer（MGT）整体框架。

图2: MGT模型结构组成，包括SE(3)编码器、SO(3)编码器与MoE路由模块。

图3: MGT在Materials Project与JARVIS数据集上的预测性能比较。

自监督预训练显著提升模型性能

研究人员首先比较了有无预训练条件下MGT的性能差异。结果显示，在Materials Project形成能预测任务中，采用预训练的MGT平均绝对误差为0.0165，而从头训练得到的误差为0.0174。说明预训练能够帮助模型学习更通用、更有效的晶体结构表示。

进一步分析不同预训练策略发现，仅使用去噪学习已经能够带来明显性能提升；仅采用对比学习同样有效，但整体效果略逊于去噪学习。当两种策略联合使用时，模型获得最佳性能。

研究人员认为，去噪学习能够强化模型对晶体局部几何结构扰动的鲁棒性，而对比学习则促进不同几何视角之间的信息对齐，两者形成互补作用，共同提升模型泛化能力。

MoE路由模块实现SE(3)与SO(3)特征的有效融合

为了验证路由模块的重要性，研究人员将其替换为简单全连接网络进行比较。

实验结果显示，引入MoE-inspired路由器后，无论是在Materials Project还是JARVIS数据集上，预测误差均进一步降低。例如在JARVIS形成能预测任务中，误差由0.0263降至0.0261；在带隙预测任务中，由0.115降至0.114。

虽然提升幅度并不巨大，但结果表明动态权重分配机制能够更有效地融合两种几何表示，使模型根据不同任务自动选择最有价值的信息来源。

更重要的是，即使移除预训练和路由模块，MGT仍优于多数现有模型，说明多视角几何架构本身已经具备较强优势。

可解释性分析揭示两种几何表示的互补作用

研究人员利用t-SNE对模型学习到的潜在表示进行可视化分析。结果显示，无论是SE(3)编码器还是SO(3)编码器，都能够根据形成能将不同晶体材料聚类到不同区域。而经过MoE路由器融合后，聚类边界更加清晰，不同材料之间的区分度进一步提高。

进一步分析两类表示的贡献权重发现，不同预测任务对SE(3)和SO(3)特征存在明显偏好。例如：

在形成能预测任务中，Materials Project更依赖SO(3)方向信息，而JARVIS则更依赖SE(3)标量信息；
在体模量、带隙等任务中，两种表示往往表现出互补关系；
对于Ehull稳定性预测任务，由于其本质上属于旋转和平移不变的能量性质，因此SE(3)表示贡献更大。

这些结果说明不存在一种固定的最佳融合方式，不同任务需要不同程度地利用两种几何信息，也验证了动态路由设计的合理性。

图4: 不同预训练策略和路由机制的消融实验结果。

图5: MGT潜在空间可视化及SE(3)/SO(3)贡献分析。

迁移学习验证模型具有优异泛化能力

为了验证MGT的实际应用价值，研究人员进一步将其应用于两个迁移学习场景。

首先是在催化剂全局最低吸附能（GMAE）预测任务中。GMAE是评价催化剂表面反应活性的重要指标。MGT分别在Alloy-GMAE、FG-GMAE和OCD-GMAE三个数据集上取得领先性能，相比当前最先进模型AdsMT，性能提升分别达到46.4%、57.8%和15.4%。

其次是在杂化有机-无机钙钛矿（HOIP）带隙预测任务中。带隙是决定太阳能电池和发光器件性能的关键参数。MGT在HOIP数据集上的预测误差较已有模型降低25.7%。

这些结果表明，MGT不仅适用于标准晶体性质预测任务，也能够迁移到催化、能源材料等多个实际应用领域。

图6： MGT在催化剂吸附能与杂化钙钛矿带隙预测中的迁移学习表现。

讨论

研究人员提出了MGT这一融合SE(3)不变几何信息与SO(3)等变方向信息的多视角图Transformer框架。通过双编码器结构、自监督预训练策略以及动态专家路由机制，MGT能够同时学习晶体结构中的标量和方向特征，从而获得更完整的几何表示。

大量实验表明，MGT在多个晶体性质预测基准任务上均优于现有先进模型，并在催化剂吸附能和钙钛矿带隙预测等迁移学习任务中展现出优异的泛化能力。特别是自监督预训练不仅提升了单项任务性能，还显著增强了模型跨任务迁移能力；MoE路由机制则实现了SE(3)和SO(3)信息的动态融合，使模型能够针对不同性质自动选择最有效的几何特征。

研究人员指出，目前MGT主要关注静态晶体结构中的SE(3)与SO(3)对称性，尚未纳入空间群对称性、磁性对称性、时间反演对称性以及温度和缺陷引起的无序效应。未来工作将进一步探索空间群等变消息传递、多保真主动学习框架以及与扩散生成模型的结合，实现具有目标性质晶体材料的逆向设计，从而推动下一代功能材料的自主发现。

整理 | DrugOne团队

参考资料

Zhang, L., Wang, Z., Wang, X. et al. Improving crystal material property prediction with multi-view geometric graph transformer. Nat Commun (2026).

https://doi.org/10.1038/s41467-026-73627-7