

论文题目: Simulating 500 million years of evolution with a language model 期刊: Science, 2025, 387, 850–858 DOI: 10.1126/science.ads0018 作者: Thomas Hayes、Roshan Rao、Halil Akin、Nicholas J. Sofroniew、Deniz Oktay、Zeming Lin 等 机构: EvolutionaryScale、Arc Institute、UC Berkeley 等 代码与资源: https://github.com/evolutionaryscale/esm
这篇 Science 论文提出 ESM3,一个同时建模蛋白质序列、结构与功能的多模态生成式语言模型。与传统蛋白语言模型主要处理氨基酸序列不同,ESM3 将三维结构、二级结构、溶剂可及面积和功能注释都转化为离散 token,并用统一的 Transformer 进行掩码预测与迭代生成。论文最受关注的结果是,作者用 ESM3 设计出一种新的绿色荧光蛋白 esmGFP,它与最接近的已知荧光蛋白只有 58% 序列一致性,作者估计相当于距离天然演化超过 5 亿年。更重要的是,这项工作展示了蛋白基础模型从表征学习、结构预测,走向可条件控制、可对齐、可实验验证的功能蛋白设计。
过去几年,AI 蛋白设计已经从单点突变预测、序列生成、结构预测,逐步推进到骨架生成、功能基序支架化、蛋白 binder 设计和酶设计。但很多方法仍然存在一个核心问题:模型往往只擅长某一种模态。
序列语言模型能学习进化信息,却不直接生成三维结构;结构生成模型能设计骨架,却未必理解序列空间和功能语义;功能注释模型能识别家族或结构域,却难以直接指导原子级设计。真正困难的蛋白设计任务,通常同时要求模型满足三件事:序列可折叠、结构可实现、功能位点精确。
ESM3 的重要性就在这里。它不是只把蛋白当作一串氨基酸,也不是只把蛋白当作三维点云,而是把序列、结构和功能放进同一个离散 token 空间中,用一个大规模 Transformer 同时学习它们之间的条件关系。论文明确指出,ESM3 可以接受序列、结构坐标、二级结构、SASA 和功能关键词等多种输入提示,并生成符合组合约束的蛋白。
从 AI 制药和蛋白工程角度看,这意味着蛋白基础模型正在从被动理解蛋白,向主动设计蛋白转移。
蛋白质并不是任意氨基酸字符串。一个功能蛋白至少要同时满足以下约束:
第一,序列要能折叠。氨基酸之间的相互作用必须能形成稳定构象,否则蛋白会错误折叠、聚集或降解。
第二,结构要能支撑功能。酶活性中心、配体结合位点、荧光蛋白发色团环境、抗体结合界面,都依赖特定原子之间的空间排列。
第三,功能往往对局部环境极其敏感。以 GFP 为例,发色团由核心残基自催化形成,周围 β 桶和中央 α 螺旋必须提供合适的几何和电子环境。少数随机突变就可能让荧光强度降为零。
第四,天然蛋白空间并不是均匀探索过的空间。自然演化沿着可存活、可复制、可选择的路径移动,而 AI 模型如果学到了蛋白空间的统计结构,理论上可能跳到自然演化尚未走到、但仍然具有功能的区域。
这篇论文的核心问题可以概括为:一个在大规模进化数据上训练的多模态语言模型,能否生成远离已知天然蛋白、但仍然具有真实功能的蛋白?
作者选择 GFP 作为验证对象很有说服力。因为荧光功能不只是折叠问题,还涉及发色团形成、局部电子环境和成熟动力学;同时荧光又容易通过实验测量。因此,GFP 是一个既困难又可验证的功能设计任务。
早期蛋白语言模型主要学习氨基酸序列。它们可以捕捉保守位点、突变效应、家族特征和远程共进化关系,但输出通常仍是序列概率或 embedding。对于需要精确原子几何的任务,例如酶活性中心重构、金属结合位点设计、GFP 发色团环境设计,仅靠序列生成很难保证空间结构正确。
RFdiffusion、FrameDiff、Genie 等结构生成模型显著推进了蛋白骨架设计,尤其适合生成新拓扑、支架化功能基序和设计 binder。但这类方法往往需要专门的几何网络、扩散过程和后续序列设计流程。它们能强约束结构,却未必自然整合功能关键词、结构域语义和大规模进化信息。
定向进化、理性突变和机器学习辅助突变通常从一个天然蛋白出发,逐步探索局部邻域。GFP 工程中,许多成功变体只引入少量突变;即使结合高通量实验和机器学习,也通常是在相对接近天然 GFP 的序列范围内探索。论文提到,过往工作能在保持荧光的情况下引入约 40–50 个突变,约为 80% 序列一致性,而 esmGFP 与最近邻已知荧光蛋白只有 58% 序列一致性。
ESM3 试图解决的不是单个模块优化,而是跨越序列、结构、功能三类信息之间的表示瓶颈。
ESM3 的核心思想可以拆成三层。
第一层是多模态离散化。蛋白的序列、结构和功能都被表示为 token。这样一来,三维结构不再必须通过连续坐标扩散来建模,而可以像语言一样被压缩、预测和补全。
第二层是统一 Transformer。不同模态的 token 在输入端分别嵌入,然后融合到同一个潜在空间中,经过多层 Transformer 处理,最后再通过不同输出头预测序列 token、结构 token 和功能 token。论文强调,ESM3 用 tokenization 而不是复杂专用结构模块来承载蛋白复杂性,从而提升扩展到大模型的可行性。
第三层是可编程生成。用户可以只给序列、只给结构,也可以给功能关键词、局部活性位点、SASA 或二级结构组合。模型通过迭代填充被掩码的 token,生成满足约束的完整蛋白。
这也是 ESM3 与传统蛋白语言模型的最大区别:它不只是学习蛋白序列的统计规律,而是把序列、结构、功能统一为一个可补全、可组合、可提示的生成问题。

ESM3 的任务可以理解为多轨道蛋白补全。
输入可以是不完整的蛋白描述,包括:
输出可以是完整序列、完整结构、功能注释,或者这些模态的组合。比如用户可以给出一个催化三联体的空间坐标和酶功能关键词,让模型补出一个完整蛋白;也可以给出 GFP 发色团关键残基,让模型生成远离天然 GFP 的新序列。
ESM3 的关键设计是将蛋白表示为多条并行轨道。
序列轨道表示每个残基的氨基酸身份。
结构轨道来自一个离散结构自编码器。作者训练一个 autoencoder,把每个氨基酸附近的局部三维原子环境压缩成离散 token。结构 token 不是简单记录二级结构,而是包含局部几何邻域信息。解码时,结构 token 可以重建全原子结构。论文报告该结构 tokenization 在 CAMEO 上重建 RMSD 小于 0.5 Å,说明压缩过程对局部结构信息保留得较好。
几何注意力轨道用于直接条件化 backbone 原子坐标。结构 token 仍然是离散表示,但如果用户输入明确的骨架坐标,模型需要精确理解空间约束。因此 ESM3 在第一个 Transformer block 中加入 geometric attention,用局部坐标框架处理原子几何关系。
结构抽象轨道包括 SS8 和 SASA。SS8 描述更高层级的二级结构类别,SASA 描述残基暴露程度。它们帮助模型理解蛋白拓扑和表面环境,而不只是原子坐标。
功能轨道来自 InterPro 和 GO 等注释。作者将自由文本描述和功能关键词 token 化,并在输入端嵌入。残基层面的功能注释采用 multi-hot 标签,可表示催化位点、修饰位点等局部功能。
这种表示的优点是统一、可扩展、可组合。缺点也明显:三维结构被离散化后,电子效应、溶剂、动态构象、侧链质子化状态等细节并不会被显式建模。
ESM3 是双向 Transformer。序列、结构和功能 token 在输入端分别嵌入,然后融合到同一个 latent space 中,经过多层 Transformer block 计算。输出端用浅层 MLP head 分别预测每条轨道上的 token 概率。
作者训练了三个规模的模型:1.4B、7B 和 98B 参数。98B 模型包含 216 个 Transformer blocks。训练数据来自 2.78 billion 天然蛋白,并结合预测结构、功能注释和反向折叠生成的合成序列,最终形成约 3.15 billion 蛋白序列、236 million 蛋白结构、539 million 带功能注释蛋白,总计 771 billion unique tokens。
这里值得注意的是,ESM3 的扩展性来自离散 token 统一建模。如果结构直接用连续三维坐标扩散,模型往往需要复杂的 SE(3) 等变网络和几何采样流程;而 ESM3 把结构压缩为 token 后,可以复用语言模型的扩展路径。
ESM3 的训练目标是 generative masked language modeling。简单说,就是随机遮盖蛋白描述中的一部分 token,让模型根据剩余 token 预测被遮盖 token。
与经典 BERT 式固定比例掩码不同,ESM3 的 mask rate 按噪声日程变化。模型会看到从少量遮盖到大量遮盖的不同任务:
这使得 ESM3 能从任何起点生成:可以从全 mask 开始无条件生成,也可以从部分序列、结构 motif 或功能关键词开始条件生成。
生成时,ESM3 从完全或部分 mask 的上下文开始,逐步采样 token,直到所有位置都被填满。每一步可以一次生成一个 token,也可以并行生成一批 token。论文图 1A 展示了 alpha/beta hydrolase 的生成过程:模型逐步填充序列、结构和功能轨道,最后得到完整蛋白。
这与 RFdiffusion 一类连续空间扩散模型不同。ESM3 不是在三维坐标上逐步去噪,而是在离散 token 空间中进行类似离散去噪的迭代补全。结构坐标最终由结构 token 解码得到。
ESM3 支持多层级 prompt:
论文中,作者构造了多种复杂组合任务,例如将 serotonin、calcium、protease inhibitor、Mcl-1 inhibitor 结合位点等原子级 motif 放入不同结构框架中。模型生成的支架与 motif 原始 scaffold 的中位 TM-score 较低,说明它不是简单复制原始蛋白,而是在其他结构背景中安放 motif。部分设计在 PDB、ESMAtlas 和 AlphaFold 数据库中找不到明显结构相似蛋白。
ESM3 的 base model 已经具备一定 prompt-following 能力,但复杂任务仍然不稳定。作者进一步进行 biological alignment,思路类似偏好优化。
具体流程是:
这一步的意义不是让模型记住某个设计,而是把预训练中隐含学到的结构与功能规律,通过少量偏好样本调出来。
ESM3 的整体流程可以概括为:
作者比较了 1.4B、7B 和 98B 模型。随着模型规模增大,序列、结构和功能轨道的 test loss 均下降,序列轨道收益尤其明显。98B 模型在 single-sequence structure prediction 上超过 ESMFold,CAMEO 测试集 mean LDDT 为 0.880,而 ESMFold 为 0.861。无条件生成蛋白的 mean pLDDT 为 0.84,pTM 为 0.52,平均 pairwise sequence identity 为 0.155,平均 pairwise TM-score 为 0.48,说明生成样本同时具有多样性和较高结构可信度。
这些结果说明,ESM3 的 scaling 不只是降低语言模型 loss,也带来了结构表征和生成质量的提升。

作者用 temporal held-out test set 构建 prompt,并用多种指标评价生成结果:
结果显示,7B ESM3 在多种 prompt 下能生成 pTM > 0.8 的高置信结构。但论文也观察到 mode switching,尤其在关键词 prompt 下,部分生成蛋白结构置信度较高,却未能恢复对应关键词。
这点很重要:ESM3 不是一个严格约束求解器。它更像一个强生成模型,能显著提高满足约束的概率,但不能保证每次输出都符合目标。
为了测试新颖性,作者用与训练集结构相似性较低的 held-out structures 产生 SS8 和 SASA prompt。ESM3 7B 生成的蛋白仍保持较高结构置信度,平均 pTM 为 0.85 ± 0.03,同时与训练集中最近蛋白的平均序列一致性低于 20%,平均 TM-score 为 0.48 ± 0.09。对人工对称蛋白设计 prompt,模型同样生成 pTM > 0.8、pLDDT > 0.8、序列一致性低于 20%、TM-score 约 0.52 ± 0.10 的结构。
这表明 prompt 能把生成分布从自然蛋白密集区推向更远的结构空间。

在三级接触 motif 任务中,作者用 46 个 ligand-binding motifs 构建评估。每个 motif 生成 1024 个 prompt,通过改变残基顺序、序列位置和蛋白长度形成多样测试。成功标准包括 pTM > 0.8、backbone cRMSD < 1.5 Å 等。
对齐前,1.4B、7B、98B base model 的 Pass@128 分别为 9.5%、19.0%、26.8%。对齐后分别提高到 18.8%、37.4%、65.5%。98B 对齐模型在 46 个 tested ligands 中,有 37 个产生的成功结构 cluster 数超过 base model;剩余 9 个 base 与 aligned 都未解决。
这个结果的核心启发是:大模型的潜在能力并不一定在 base model 直接体现,合适的偏好对齐可以把预训练中学到的结构规律转化为更强的可控生成能力。
论文最具传播性的实验是 esmGFP。
作者直接用 base-pretrained 7B ESM3 生成 229 aa GFP-like protein。输入 prompt 包括 GFP 发色团形成和催化所需关键残基 Thr62、Thr65、Tyr66、Gly67、Arg96、Glu222,以及 1QY3 中 residues 58–71 的结构信息。输入形式包括 sequence tokens、structure tokens 和 backbone atomic coordinates;除条件位置外,其余 229 个残基位置几乎全部 mask。
生成并不是一步完成,而是一个 chain-of-thought 式流程:
随后进入实验。第一轮 96 孔板中测试 88 个设计,合成、在 E. coli 表达,并用 485 nm 激发波长测定荧光。B8 设计与 1QY3 只有 36% 序列一致性,与最近已知荧光蛋白 tagRFP 为 57% 一致性。B8 比天然 GFP 暗约 50 倍,成熟时间约一周,但它证明模型进入了一个远离已知 GFP、仍有荧光信号的空间。
第二轮作者从 B8 继续 chain-of-thought 优化,又做了一块 96 孔板,得到 C10,即 esmGFP。esmGFP 亮度进入天然 GFP 分布范围,成熟较慢但 2 天后亮度可与测量的天然 GFP 相当。突变 Thr65 和 Tyr66 为 Gly 后荧光消失,说明荧光依赖预期发色团位点。esmGFP 激发峰为 496 nm,相比 EGFP 的 489 nm 红移 7 nm;二者发射峰均为 512 nm。
从序列上看,BLAST 和 MMseqs 都找到 tagRFP 作为最近邻,序列一致性 58%,意味着 esmGFP 相对最近邻有 96 个突变;最近的 wild-type 序列 eqFP578 与其相差 107 个位置,序列一致性为 53%。作者基于 648 个 GFP-like fluorescent proteins 的序列比对,以及 anthozoan GFP 的时间校准系统发育分析,估计 esmGFP 距离最近天然蛋白相当于超过 5 亿年自然演化。

这里要强调:5 亿年不是模型真的运行了 5 亿年演化模拟,而是作者用 GFP 序列一致性和系统发育时间关系做出的等效距离估计。它是一个具有启发性的演化尺度描述,不应被理解为严格的物理演化模拟。
ESM3 的价值不只是模型参数大,而是把蛋白设计拆成可组合 prompt。序列、结构坐标、局部 motif、二级结构、SASA、功能关键词都可以成为条件。对于未来 AI 制药,这比单纯提升结构预测精度更重要,因为真实设计任务往往是多约束问题。
过去蛋白结构生成常依赖连续坐标扩散和等变网络。ESM3 证明,三维结构可以被压缩为离散 token,再交给大规模 Transformer 建模。这条路线的优势是可扩展、易融合语言模型经验、方便多模态统一;风险是可能牺牲部分几何精度和物理细节。
预训练让模型获得广泛蛋白知识,但不保证它会精确遵守用户 prompt。ESM3 的 alignment 结果显示,用结构质量和 prompt 一致性构造偏好数据,可以显著提升复杂 motif scaffolding 成功率。未来蛋白设计模型很可能会形成预训练 + 任务偏好对齐 + 实验反馈微调的路线。
很多蛋白生成工作停留在 pLDDT、pTM、RMSD、Foldseek novelty 等计算指标。ESM3 的 GFP 实验之所以重要,是因为作者合成并表达了蛋白,测量了荧光、成熟时间、光谱,并做了发色团关键残基 knockout。这让论文的证据强度明显高于纯计算生成。
GFP 是一个很好的功能验证对象,但它仍然只是一个蛋白家族和一种功能类型。esmGFP 说明 ESM3 可以在特定条件下生成远离天然序列但保留功能的蛋白,并不自动证明它能稳定设计酶、受体、离子通道、抗体、蛋白 binder 或复杂多亚基机器。
esmGFP 不是模型一次生成就成功。作者先生成数万个候选,再进行计算过滤、分桶、排序,随后做两轮 96 孔板实验。B8 只是较弱功能信号,C10 是继续从 B8 优化后得到的。换句话说,ESM3 显著扩展了候选空间,但真实成功仍来自模型生成、计算筛选和实验验证的组合。
许多计算评价依赖 ESMFold 或 ESM 系列模型。由于 ESM3 与这些工具在数据和建模思想上存在关联,评估可能偏向模型容易生成和预测的蛋白类型。高 pLDDT 或 pTM 并不等于蛋白真实稳定、可表达、可溶或有功能。
ESM3 将三维结构压缩为离散 token,有利于扩展,但蛋白功能常受精细物理因素影响,例如侧链取向、氢键网络、质子化状态、金属配位、溶剂、构象动力学和电子效应。GFP 的成功说明模型捕捉到了一部分关键规律,但对酶催化和高亲和力结合等更精细任务,仍需要更直接的物理或实验反馈。
作者的演化距离估计基于 GFP 序列一致性与系统发育时间的经验关系,具有直观意义,但不是严格的演化动力学模拟。不同蛋白家族的演化速率差异很大,序列一致性与时间并非普适线性关系。因此,5 亿年更适合作为说明 esmGFP 远离已知 GFP 空间的尺度,而不是绝对结论。
论文展示的最大模型为 98B 参数,并报告使用超过 one trillion teraflops 级别的训练计算。虽然 ESM3-open 和 API 提供了访问途径,但顶级模型训练、系统复现和工业化部署仍然需要非常高的算力、数据工程和安全治理能力。
未来设计抗体、binder、酶、细胞因子或受体调控蛋白时,研究者不再只是输入一个目标结构,让模型生成序列;而是输入功能位点、结合界面、免疫原性限制、稳定性目标、表达需求和实验反馈。ESM3 展示了这种多约束 prompt 的雏形。
小分子设计同样面临序列、图、三维构象、口袋相互作用、合成路线、性质约束之间的融合问题。ESM3 给出的启发是:如果能把不同层级信息统一到可组合表示中,生成模型就可能从单一分子生成走向任务条件设计。
ESM3 的 GFP 设计并不是单纯生成,而是 prompt 设计、候选生成、计算筛选、实验测试、再从 B8 继续优化。这更接近真实 AI 制药流程:模型负责提出高价值候选,实验负责校准真实功能,下一轮模型再吸收反馈。
ESM3 把 PDB、AlphaFold/ESMAtlas 等结构资源、UniProt/InterPro/GO 等序列功能资源,以及大模型 scaling 合并到一个框架中。这说明未来蛋白设计不会只是深度学习模型竞赛,而是数据资源、结构预测、生成建模、实验平台和安全治理共同构成的系统工程。
推荐理由:这篇论文值得关注,不是因为它给出了一个吸引眼球的 5 亿年标题,而是因为它展示了一条清晰的技术路线:将蛋白序列、结构和功能统一为可生成的多模态 token,并通过大规模预训练、条件 prompt、偏好对齐和湿实验验证,推动蛋白语言模型从表征工具走向设计工具。
ESM3 已经证明三点:第一,多模态蛋白语言模型可以有效整合序列、结构和功能信息;第二,模型规模和对齐策略能显著提升复杂 prompt 的可满足性;第三,AI 生成的远离天然蛋白空间的序列可以在实验中表现出真实功能。
但它尚未证明 AI 可以普遍替代自然演化或传统蛋白工程。真正的难点仍然在于:如何让模型稳定满足复杂功能、如何减少筛选成本、如何将计算置信度与真实实验成功率对齐、如何把单个成功案例扩展到可重复的工程流程。
对 AI 制药读者来说,这篇论文最值得学习的不是某个单独指标,而是它背后的方法组织方式:把生物大分子设计从单一模态预测问题,推进到多模态条件生成、偏好对齐与实验闭环验证问题。