2026.03 npj Digit. Med. & IF15.1丨RoentMod：一种合成胸部X光修改模型，用于识别和修正图像解读模型的捷径

Lauren H. Cooke, Vineet K. Raghu丨美国马萨诸塞州综合医院与哈佛医学院心血管影像研究中心

Lauren H. Cooke, Vineet K. Raghu丨美国马萨诸塞州综合医院与哈佛医学院心血管影像研究中心

🌿文献标题：RoentMod：一种合成胸部X光修改模型，用于识别和修正图像解读模型的捷径

深度学习在胸部X光（CXR）解释中取得了卓越成就，但多任务和基础模型极易陷入“捷径学习”，即依赖于脱靶病变或伴随特征等虚假相关性而非真实的病理表现来做出诊断。这种缺陷严重限制了模型的特异性及其在真实临床环境中的泛化能力。

当前的解释性工具难以量化或在训练期间直接消除这种偏差。本文提出基于开源组件RoentGen构建的反事实图像编辑框架RoentMod，能够在保持患者原有解剖特征的前提下合成特定病理表现，从而探测并彻底修正医学AI中潜藏的捷径学习漏洞。

背景补充：RoentGen — 胸部 X 光图像生成的视觉语言基础模型

🔬 是什么？

RoentGen 是由斯坦福大学 MIMI 实验室开发的一个开源 AI 模 型，专门用于根据自由文本描述生成逼真的合成胸部 X 光片（CXR）。 RoentGen 就像一个"放射科 AI 画家"——你用医学语言描述病情，它就画出对应的 X 光片，从而为医疗 AI 的训练和研究提供充足的合成影像数据。

• ●https://stanfordmimi.github.io/RoentGen/
• ●https://github.com/StanfordMIMI/RoentGen

⚙️ 技术原理

RoentGen 的核心是一个领域自适应的潜在扩散模型（Latent Diffusion Model, LDM）：

🎯 核心能力

• ●✅ 根据任意放射科文本描述生成多样、逼真的胸部 X 光图像
• ●✅ 输出结果可高度控制，不同描述对应不同病灶表现
• ●✅ 可生成罕见病例的合成训练数据，解决医疗数据稀缺问题

🏥 应用价值

1. 1)训练数据增强：为医疗 AI 模型提供大量合成 X 光图片，降低对真实患者数据的依赖[ref:3,6]
2. 2)隐私保护：合成数据不含真实患者信息，规避数据合规问题
3. 3)罕见病研究：可按需生成罕见影像表现，弥补真实数据不足
4. 4)医学教育：生成多样化病例图像用于教学训练

一、RadArt简报

二、研究思路

> 1、无需重新训练的模型构建

将经过医学微调的文本到图像模型（RoentGen）与开源图像到图像扩散架构（Stable Diffusion Image-to-Image）直接结合，构建反事实胸部X光生成模型RoentMod。

> 2、多维度临床与计算机验证

通过放射科专家盲审以及配对Fréchet Inception Distance（pFID）等定量指标，在MIMIC-CXR队列上评估合成图像的真实度、文本提示依从性以及对患者原有解剖结构的保留程度。

> 3、基准诊断模型“压力测试”

利用RoentMod在真实“无发现”扫描图像上逐一添加单一病变，通过观测目标与非目标病理预测概率的变化分布，量化评估现有先进多任务及基础模型（如TorchXRayVision、ElixrB、Ark+）的捷径学习现象。

> 4、反事实数据增强策略

引入RoentMod生成的反事实图像与真实NIH CXR-14数据联合训练新型多任务诊断模型，消除模型对脱靶特征的依赖，并在MIMIC-CXR、CheXpert及PadChest等外部队列中验证其判别性能的提升。

三、研究结果

> 1、RoentMod评估：根据文本提示准确添加病理特征并保持真实性

两名放射科专家盲审证实，93%的合成图像具备真实患者外观，89%至99%的图像成功引入了目标病理特征（如水肿、胸腔积液等），且极少诱发未提示的异常表现（图3，补充图1）。

> 2、RoentMod评估：修改图像添加提示病理特征且不引入医学无关的脱靶疾病

多病理共现分析表明，除符合生理规律的并发症（如水肿常伴发心脏肥大）外，系统有效限制了无关疾病的生成，精准锚定指定的修改意图（补充图1，补充表1）。

> 3、RoentMod评估：添加病理特征时保留受试者的其他解剖结构

pFID评估及像素级分析确证，反事实合成图像较异源真实图像更接近其基线扫描。系统仅在对应的解剖靶区引发像素强度改变，成功锁定了受试者的身份与其余原生解剖构造（补充图3）。

补充图 3：对 RoentMod 编辑所引发的微小图像变化的评估。 图中展示了来自 MIMIC-CXR 阅片者研究队列中，经 RoentMod 修改以添加病理特征的 X 射线影像在空间分辨像素强度（左）、平均像素强度（中）以及像素强度分布（右）方面的变化。

补充图 3：对 RoentMod 编辑所引发的微小图像变化的评估。 图中展示了来自 MIMIC-CXR 阅片者研究队列中，经 RoentMod 修改以添加病理特征的 X 射线影像在空间分辨像素强度（左）、平均像素强度（中）以及像素强度分布（右）方面的变化。

> 4、利用RoentMod为胸部X光片添加病理特征导致其他病理预测概率升高

对基础及多任务模型的压力测试显示，引入单一非目标病变即可系统性拉高所有其他疾病的预测概率百分位，揭示了当前先进诊断模型普遍利用病理共现作为分类捷径（图2a）。

> 5、训练中引入RoentMod扫描可减少对捷径的依赖并提升泛化能力

引入反事实扫描作为增强数据进行训练后，模型不仅消除了对脱靶病变的异常敏感性，更在多个内外部队列中将六种疾病的整体判别力（AUC）显著提升了3%至19%（图2b）。

四、结论及创新点

结论：多任务和医学基础视觉模型存在显著的捷径学习缺陷，常错误地利用任何可见病变作为判定其他疾病的依据。RoentMod可以生成高保真的反事实胸部X光片来暴露这一问题；将其生成的对抗性样本反哺于模型训练，不仅能纠正这种虚假相关性，还能显著提升模型跨机构泛化能力。

创新点：

1. 1)零成本构建：巧妙组合现有开源医学扩散模型（RoentGen）与自然图像修改框架，实现零微调的反事实图像定向编辑。
2. 2)反事实压力测试机制：首创了利用受控生成病理图像对医疗AI系统进行定量“抗压”与偏差分析的方法。
3. 3)基于编辑的去偏增强：利用合成生成的具有特异性变量的对抗样本进行数据增强，为缓解医学AI模型固有的虚假关联学习提供了低成本且高效的解决范式。

五、数据来源及样本情况

本研究所有测试与训练均基于完全公开的匿名化大型队列：

1. 1)NIH Chest X-ray 14：共采用64,628张成人后前位（PA）扫描，来自27,713名患者（平均年龄47.8岁，47%为女性）。
2. 2)MIMIC-CXR：共采用94,067张成人正面扫描，来自44,642名患者（平均年龄56.1岁，53%为女性）。
3. 3)CheXpert：共采用29,453张成人PA扫描，来自20,574名患者（平均年龄57.1岁，38%为女性）。
4. 4)PadChest：共采用88,109张成人正面扫描，来自59,085名患者（平均年龄58.6岁，52%为女性）。

参考文献：Cooke, L.H., Jung, M., Brendel, J.M. et al. RoentMod: a synthetic chest X-ray modification model to identify and correct image interpretation model shortcuts. npj Digit. Med. (2026). https://doi.org/10.1038/s41746-026-02497-6

---

本文仅作学术学习翻译，译文若有疏漏，欢迎批评指正；原文版权归文献方所有，本内容非商用，如涉及侵权，敬请联系后台删除。