Nat. Mach. Intell. | 强化学习引导生成模型发现新型晶体结构

晶体材料发现需要在巨大的组合设计空间中寻找兼具新颖性、稳定性和潜在功能性的候选物。近年来，生成式人工智能已经能够采样化学上看似合理的晶体组成和结构，但仍面临一个核心问题：传统生成模型多以似然为目标，倾向于复现训练数据中的统计规律，因此更容易生成与已知材料相似的结构，而不是主动探索新颖、稀疏且可能具有科学价值的未知区域。研究人员提出 Chemeleon2，这是一个通过强化学习引导潜在去噪扩散模型发现多样且新颖晶体化合物的框架。该方法将组相对策略优化与可验证的多目标奖励结合起来，在生成过程中同时平衡创造性、热力学稳定性和多样性。除从头生成晶体外，研究人员还展示了面向目标带隙的性质引导设计。结果表明，强化学习能够显著提高模型生成亚稳、唯一且新颖晶体的能力，并在性质优化时维持化学有效性，为可控的 AI 驱动材料逆向设计提供了模块化基础。

晶体材料长期推动技术变革，从半导体、电池材料到能源与环境催化剂，许多关键技术都依赖新材料的发现。然而，晶体材料空间极其庞大，其组合复杂性来自元素组成、化学计量、晶格参数、原子坐标、空间群和局部配位环境等多个维度。传统实验探索和高通量计算虽然推动了材料发现，但仍难以系统覆盖如此巨大的空间。

生成式人工智能为材料发现提供了新的可能。VAE、生成对抗网络、自回归模型、扩散模型和 Flow Matching 等方法已经能够生成看似合理的无机晶体结构。然而，这些模型通常通过学习已有材料数据库的分布来生成样本，因此天然偏向“像训练集”的结构。对于材料发现而言，真正有价值的候选物往往位于数据库中稀疏、少见甚至未充分探索的区域。这就形成了生成建模与科学发现之间的目标错位：模型学习的是高概率数据分布，而研究人员需要的是低概率但可能稳定、可合成且有功能的新区域。

强化学习提供了一种解决这一错位的思路。与似然训练不同，强化学习可以直接优化明确设定的奖励，例如新颖性、稳定性、多样性或目标性质。研究人员因此提出 Chemeleon2，通过强化学习后训练潜在扩散模型，使模型从“复现已知材料分布”转向“根据科学目标主动探索材料空间”。

方法

Chemeleon2 采用潜在去噪扩散模型作为策略网络。晶体结构通常由原子类型、原子坐标和晶格矩阵共同表示，其中既包含离散变量，也包含连续变量。如果直接在真实原子空间中应用强化学习，策略概率难以计算，采样成本也很高。为降低优化难度，研究人员先使用变分自编码器将晶体结构压缩为连续潜在表示，再在这个潜在空间中进行扩散生成。这样做可以把复杂的晶体表示转化为更适合策略梯度优化的连续动作空间。

强化学习阶段使用组相对策略优化。模型在同一输入条件下生成多组候选晶体，并根据每个候选的奖励进行组内归一化，从而降低梯度估计方差、提高训练稳定性。奖励函数由多个部分构成。创造性奖励鼓励生成唯一且不同于参考数据库的结构；稳定性奖励基于能量凸包上方能量，鼓励热力学上可行或亚稳的晶体；多样性奖励防止模型坍缩到少数局部模式，并推动其覆盖更广泛的组成和结构空间。对于性质引导设计，研究人员还加入目标性质奖励，例如引导生成带隙接近 3 eV 的晶体。

图1｜强化学习引导晶体材料探索框架。

结果

强化学习框架用于材料空间探索

研究人员首先说明了该框架如何改变晶体生成路径。普通生成模型主要沿训练数据分布采样，因此更容易生成已有材料附近的结构。Chemeleon2 则将生成过程放入一个强化学习循环中：扩散模型作为智能体生成晶体，奖励函数作为环境评估其新颖性、稳定性和多样性，模型再根据反馈更新策略。通过这一过程，采样从似然驱动转向奖励驱动，模型逐渐学会探索训练数据中低密度但更有发现价值的区域。

在奖励设计中，创造性奖励通过连续结构距离避免简单二元判断带来的不稳定优化；稳定性奖励使用机器学习力场快速估计凸包上方能量，以替代昂贵的第一性原理计算；多样性奖励则使生成结构既不重复，也不远离合理材料流形。图1展示了这种奖励引导如何把生成结构推向欠采样区域，同时保持化学和物理合理性。

策略优化算法

研究人员比较了组相对策略优化与普通 REINFORCE。结果显示，组相对策略优化通过在同一条件下比较多组候选结构，能够显著降低优势估计的波动，使强化学习训练更加稳定。图2中的训练曲线显示，GRPO 的奖励提升更平滑，梯度方差更低。

消融实验进一步表明，多样性奖励不可或缺。去掉多样性奖励后，模型很容易出现模式坍缩，即反复生成少数相似结构，只通过微小几何扰动获取奖励。这说明在材料生成中，单纯奖励稳定性和新颖性并不足够，还必须显式鼓励组成和结构覆盖范围。

图2｜策略优化算法示意图。

从头晶体生成基准

研究人员在 Alex-MP-20 数据集上评估不同生成模型，每个模型生成 10,000 个晶体，并直接对未几何优化的结构进行评估。主要指标为 mSUN，即亚稳、唯一且新颖结构的比例。未经过强化学习的 Chemeleon2 mSUN 仅为 15.9%，原因是潜在扩散模型虽然采样效率高，但压缩潜在空间会削弱对稀有结构和极端构型的表达能力，也可能在解码时产生局部几何失真。

经过强化学习后，Chemeleon2 的 mSUN 从 15.9% 提升到 61.3%，提升幅度达到 45.4 个百分点，相对提升 285.5%。其中，新颖性从 62.3% 提升到 97.5%，亚稳比例从 51.2% 提升到 72.1%。虽然唯一性从 99.4% 降至 88.7%，提示仍存在轻微模式坍缩，但整体上强化学习显著提高了模型发现有效新晶体的能力。在较小的 MP-20 数据集上也观察到类似趋势，说明该方法并非只对单一数据集有效。

图3｜不同生成模型的从头晶体生成性能比较。

新颖性—稳定性困境

材料生成中存在典型的新颖性—稳定性困境。越接近已知材料的化学空间，结构越可能稳定；越远离已知材料，结构越新颖，但也越可能热力学不可行。传统生成模型由于受训练分布限制，往往难以同时提升新颖性和稳定性。

研究人员用新颖性和稳定性二维图展示了不同模型的表现。强化学习后的 Chemeleon2 明显拓展了帕累托前沿，说明它不是简单牺牲稳定性换取新颖性，而是在两者之间找到了更优平衡。t-SNE 结构嵌入显示，未强化学习模型虽然覆盖较广，但有效候选稀疏；强化学习模型则形成了富含 mSUN 结构的局部簇，表明奖励函数让模型集中探索更有价值的区域。

代表性结构分析显示，模型会先识别热力学较有利的结构原型，再通过多元素、多阴离子替换引入组成复杂性。这种策略帮助模型在稳定结构骨架上增加化学新颖性。

图4｜生成模型中的新颖性—稳定性权衡。

强化学习改变组成空间探索

研究人员进一步分析了强化学习前后生成晶体的元素组成变化。结果显示，强化学习显著改变了模型的搜索偏好。基线 Chemeleon2 更倾向于生成含氧、硫族元素和卤素的化合物，而强化学习后，过渡金属比例从 26.2% 增加到 35.6%，非金属比例从 27.2% 降至 16.6%。同时，模型对 Br、I、Se 等更可极化元素的探索增加，元素分布更广。

这种变化与奖励设计相符。稳定性奖励偏好具有多氧化态和可调配位环境的过渡金属，创造性和多样性奖励则推动模型探索更多阳离子组合和欠表示元素组合。研究人员还发现，强化学习模型生成了较多三元和四元化合物，其中四元体系占比最高，并且相当一部分具有较低凸包上方能量，提示这些复杂组成中可能存在可合成候选物。

不过，研究人员也提醒，目前模型生成的是有序周期晶体，不能很好区分有序化合物、无序固溶体和位点占据无序。例如某些多金属体系可能更适合解释为固溶体，而不是确定的有序化合物。

图5｜强化学习驱动的组成空间探索统计。

性质引导生成

除从头生成外，研究人员还测试了性质引导设计，以目标带隙 3 eV 为例。该目标在数据分布中属于较难的外推目标。研究人员比较了普通 CFG、LoRA+CFG 和强化学习三种条件生成方式。

结果显示，CFG 生成的带隙分布较宽，难以集中到目标值附近，并且会严重破坏 mSUN 指标，使有效结构比例接近零。LoRA+CFG 仅略有改善。相比之下，强化学习优化后的 Chemeleon2 生成结构的 DFT 计算带隙明显集中在 3 eV 附近，同时保持 mSUN 为 45.3%。在 512 个初始样本中，有 82 个结构既满足 mSUN，又具有 2.7–3.3 eV 的目标带隙范围。

进一步经过 DFT 几何弛豫后，强化学习模型仍保持较强的静态带隙与弛豫后带隙相关性，说明模型生成的结构已经接近平衡构型。弛豫后，mSUN 和亚稳比例还进一步提升。这表明强化学习不仅能引导性质，还能在性质优化过程中保持化学有效性和热力学可行性。

图6｜强化学习用于性质引导晶体生成。

讨论

这项研究展示了强化学习在生成式材料发现中的重要价值。传统生成模型主要学习训练数据分布，因此容易受“像已知材料”的目标限制。Chemeleon2 则通过明确的奖励函数，将生成模型转变为主动探索工具，使其能够在新颖性、稳定性和多样性之间取得更优平衡。

该框架的优势在于模块化。奖励项可以根据不同科学目标灵活替换或调整，因此不仅适用于从头发现新晶体，也适用于带隙等功能性质导向的逆向设计。与启发式条件控制方法相比，强化学习提供了更直接的目标优化路径，尤其适合需要同时满足多种约束的材料发现任务。

不过，该方法仍存在局限。首先，真正的结构新颖性仍难以精确定义，特别是对于低对称结构、轻微晶格畸变和复杂局部配位而言。其次，模型目前主要生成有序周期结构，尚不能处理真实材料中常见的固溶体、位点无序、缺陷和非化学计量组成。第三，高阶多元素体系的稳定性可能由于参考相图稀疏而被高估，因此仍需要更严格的第一性原理验证和实验筛选。未来，如果能加入更可靠的合成可行性奖励、无序结构建模和更精细的结构新颖性指标，该框架有望成为 AI 驱动材料发现中的通用策略。

总体而言，Chemeleon2 证明了强化学习可以把晶体生成模型从被动模仿训练集转向主动探索未知空间，为多样、新颖且热力学可行的功能晶体发现提供了新的方法路径。

整理 | DrugOne团队

参考资料

Park, H., Walsh, A. Guiding generative models to uncover diverse and novel crystals via reinforcement learning. Nat Mach Intell (2026).

https://doi.org/10.1038/s42256-026-01262-4