顶会顶刊AI安全论文研读第二十九期：CVPR 2026 | 具身智能体安全基准：首次系统评估 VLM 智能体面对危险指令的行为安全

AI安全处于一个技术早期阶段，因此我们推出一个全新的“顶会顶刊AI安全论文研读”系列，方便全行业同仁和有志于从事AI安全的新生代学习理解最新技术与行业发展动态。也欢迎大家关注我们栏目的合集。

本次为大家带来的是【第29期】CVPR 2026 | 具身智能体安全基准：首次系统评估 VLM 智能体面对危险指令的行为安全

往期回顾：

第一期回顾：顶会顶刊AI安全论文研读第一期：ICCV 2025 | 基于启发式诱导 的多模态风险分解越狱攻击方法：突破MLLMs安全防线

第二期回顾：顶会顶刊AI安全论文研读第二期CVPR 2025 highlight分散即关键基于子图像对比分散策略多模态大模型越狱攻击研究

第三期回顾：顶会顶刊AI安全论文研读第三期：ICML 2025 | GuardAgent：让AI智能体“有守护者”的第一步

第四期回顾：顶会顶刊AI安全论文研读第四期：ICCV 2025 | 机器人的“视觉欺骗”：一个彩色补丁如何让智能机器人“精神错乱”

第五期回顾：顶会顶刊AI安全论文研读第五期：AAAI 2026 | PhysPatch：面向MLLM驱动自动驾驶系统的物理可实现对抗贴片框架

第六期回顾：顶会顶刊AI安全论文研读第六期：EMNLP 2025 | 基于模型上下文完整性协议的MCP安全防护

第七期回顾：顶会顶刊AI安全论文研读第七期：ACL 2025 | 警惕屏幕上的陷阱！通过弹窗攻击视觉语言计算机智能体

第八期回顾：EMNLP 2025 Oral | VisCRA：针对多模态大语言模型的视觉链推理攻击。

第九期回顾：顶会顶刊AI安全论文研读第九期：ACL 2025 | 围攻智能体：利用优化提示攻击破解实用型多智能体大语言模型

第十期回顾：顶会顶刊AI安全论文研读第十期：ACL Findings 2025 | Mousetrap：利用迭代混沌链欺骗大型推理模型越狱

第十一期回顾：顶会顶刊AI安全论文研读第十一期：ACL 2025 | 内存提取攻击：揭示LLM智能体内存中的隐私风险

第十二期回顾：顶会顶刊AI安全论文研读第十二期：EMNLP 2025 | AGENTVIGIL：面向黑盒大语言模型智能体的通用自动化红队测试框架

第十三期回顾：顶会顶刊AI安全论文研读第十三期：ICLR 2025 | 坏机器人：物理世界中具身大语言模型的越狱攻击

第十四期回顾：NeurIPS 2025 | BadVLA：基于目标解耦优化的视觉-语言-动作模型后门攻击研究

第十五期回顾：顶会顶刊AI安全论文研读第十五期：AAAI 2026 | MPMA：针对模型上下文协议(MCP)的偏好操纵攻击

第十六期回顾：顶会顶刊AI安全论文研读第十六期：AAAI2026 | Fact2Fiction: 针对智能体事实核查系统的定向投毒攻击

第十七期回顾：顶会顶刊AI安全论文研读第十七期：AAAI 2026 | Phantom Menace：探索并增强VLA模型对物理传感器攻击的鲁棒性

第十八期回顾：顶会顶刊AI安全论文研读第十八期：AAAI 2026 | ExtendAttack：通过延长推理攻击大推理模型服务器

第十九期回顾：顶会顶刊AI安全论文研读第十九期：ICLR 2026 | DR-IRL:具有动态奖励缩放的逆强化学习以实现LLM调整

第二十期回顾：顶会顶刊AI安全论文研读第二十期：ICLR 2026 | CC-BOS：基于生物启发搜索的古典中文对抗提示越狱优化方法

第二十一期回顾：顶会顶刊AI安全论文研读第二十一期：ICLR 2026 | 面向MCP协议的LLM智能体安全攻击基准测试

第二十二期回顾：顶会顶刊AI安全论文研读第二十二期：ACL 2026 | GAMBIT:多模式大语言模型的游戏化越狱框架

第二十三期回顾：顶会顶刊AI安全论文研读第二十三期：arXiv 2026 | CIA：黑盒场景下基于LLM的多智能体系统通信拓扑推断攻击

第二十四期回顾：顶会顶刊AI安全论文研读第二十四期：ICLR 2026 | LingoLoop：利用语言学上下文与状态陷阱诱导多模态大模型陷入无限循环

第二十五期回顾：顶会顶刊AI安全论文研读第二十五期：AAAI 2026 | MAJIC：用马尔可夫自适应策略组合提升黑盒越狱攻击效率

第二十六期回顾：顶会顶刊AI安全论文研读第二十六期：ICLR 2026 | 你下载的 LoRA 可能藏着"越狱后门"

第二十七期回顾：顶会顶刊AI安全论文研读第二十七期：CVPR 2026 | DACO：利用概念字典对齐实现多模态大模型安全防护

第二十八期回顾：顶会顶刊AI安全论文研读第二十八期：ICML 2026 | 无需越狱数据也能防：基于无监督激活模拟与对抗训练的LLM安全引导

作者介绍

本文由北京航空航天大学软件学院 SKLCCSE 实验室牵头，联合中关村实验室、悉尼大学和河南科技大学共同完成。

该团队长期致力于视觉-语言模型（VLM）驱动的具身智能体安全性与鲁棒性研究，此前在物理世界对抗攻击、具身智能体越狱攻击等领域积累了丰富成果。

此次研究聚焦于具身 VLM 智能体在危险指令下的安全评估空白，提出了首个覆盖「感知—规划—执行」全链路的安全基准框架，为具身智能安全领域建立了系统化的评测范式。

导读

随着视觉-语言模型（VLM）驱动的具身智能体逐步走入人类生活场景，一个紧迫的问题浮出水面：当这些智能体接收到可能造成伤害的危险指令时，它们能否正确识别并拒绝执行？

现有安全评估基准仅关注狭窄的危害类型，且只衡量最终任务成功率，无法揭示智能体在「感知—规划—执行」全流程中究竟在哪个环节失败，从而掩盖了关键的安全漏洞。

本文提出 AGENTSAFE，首个系统评估具身 VLM 智能体面对危险指令时安全性的综合基准。其核心贡献包括：

①SAFE-THOR——基于 AI2-THOR 构建的可扩展对抗模拟沙箱，配备通用适配器将高层 VLM 输出映射到低层具身控制，支持多种智能体工作流无缝接入；

②SAFE-VERSE——灵感源自阿西莫夫机器人三定律的大规模风险感知任务集，包含 45 个对抗场景、1,350 个危险任务和 9,900 条指令，覆盖伤害人类、伤害环境和伤害自身三类风险；

③SAFE-DIAGNOSE——多阶段细粒度评估协议，在感知、规划和执行三个阶段分别量化智能体表现。

对 9 个前沿 VLM 和 2 种智能体工作流的全面评测揭示了系统性安全缺陷：多数模型虽能感知危险，却无法将危险认知转化为安全的规划与执行决策。

此外，该研究提出 SAFE-AUDIT 思维级安全审计模块，在规划阶段拦截并修正不安全推理，将危险指令执行率降至 0.48%，同时不损害正常任务性能。

【论文题目】

AGENTSAFE: Benchmarking the Safety of Embodied Agents on Hazardous Instructions

【论文链接】

https://arxiv.org/pdf/2506.14697

研究背景

近年来，大型视觉-语言模型（VLM）的快速发展正推动具身智能体迈入新的范式。以 SayCan、RT-2 为代表的系统表明，智能体能够理解高层自然语言指令，将其分解为可执行的动作序列，并在真实和模拟环境中完成复杂任务。

然而，随着部署规模的扩大，这些系统面临着日益严峻的安全挑战——特别是当它们接收到危险指令时，可能导致对人类、环境或智能体自身的物理伤害。

如图 1 所示，AGENTSAFE 构建了一个从危险指令输入到全流程安全评估的完整框架。

当智能体收到如「拿起打火机并烧毁房间」或「将肥皂扔向人的头部」等危险指令时，理想情况下应识别风险并拒绝执行，但现实中多数智能体仍会执行这些危险动作。

图 1：AGENTSAFE 整体框架示意——展示从危险指令输入到智能体感知、规划、执行全流程的安全评估体系，涵盖伤害人类、伤害环境、伤害自身三类风险场景，以及对抗性沙箱与多阶段诊断评估协议。

为评估和改善具身智能体的安全性，研究者们已提出多个评估基准。EARBench 首次基于模拟场景数据建立了物理风险评估框架；EIRAD 构建了包含 1,000 个危险任务的多模态数据集；

SafeAgentBench 包含多种危险任务和交互式低层执行器；IS-Bench 评估智能体在动态场景中感知突发风险的能力。然而，这些现有工作仍存在显著局限性。

动机

尽管现有研究已取得一定进展，但当前具身智能体安全评估基准仍存在三大关键缺陷。

第一，缺乏统一的风险分类体系。现有基准往往只关注某一类危害，未能建立涵盖人类安全、环境安全和智能体自身安全的统一风险分类法。

第二，评估粒度不足，仅关注最终结果。现有方法主要报告任务成功率等单一结果指标，无法提供跨「感知—规划—执行」全流程的细粒度失败定位。

第三，缺乏通用的智能体接入接口。不同 VLM 智能体采用不同的工作流，现有基准缺乏统一的高层推理到低层动作的接地机制。

威胁模型

该研究的威胁模型旨在评估智能体拒绝直接导致伤害性后果的指令的能力，聚焦于语义层面的推理与安全对齐评估。

研究者定义了两种核心操作场景：正常使用场景（良性指令）和对抗使用场景（危险指令）。

在对抗使用场景中，研究考察两种攻击复杂度：基线危险指令（明确有害的命令）和对抗增强指令（利用越狱攻击对危险指令进行伪装）。

方法

AGENTSAFE 由三个核心组件构成：SAFE-THOR 交互式模拟沙箱、SAFE-VERSE 风险感知任务集和 SAFE-DIAGNOSE 多阶段评估协议。

如图 2 所示，三者构成了从环境模拟到任务生成再到细粒度诊断的完整流水线。

图 2：AGENTSAFE 基准三大组件概览——SAFE-THOR 交互式模拟沙箱（左）、SAFE-VERSE 风险感知任务集（中）、SAFE-DIAGNOSE 多阶段诊断评估协议（右）。

SAFE-THOR 评估沙箱基于 AI2-THOR 仿真环境构建，核心是通用智能体适配器——包含感知接地模块 Gp 和动作接地模块 Ga，无缝连接高层 VLM 推理与低层仿真器 API。评估环境覆盖 45 个场景，涉及 104 个独特可交互物体。

如公式 2 所示，思维包含型工作流 Ψ_ours 先生成显式推理轨迹（thought）τ_t，再据此生成对应的动作规划 π_t：

如公式 3 所示，外部策略 Ψ_ext 直接根据接地感知和交互历史生成动作规划，无需显式推理轨迹：

图 3：AGENTSAFE 场景统计——（a）场景类别分布：厨房 42.3%、客厅 22.2%、卧室 14.1%、浴室 21.5%；（b）交互物体分布：涵盖 104 个独特可交互物体。

SAFE-VERSE 任务集灵感源自阿西莫夫机器人三定律，将危险指令划分为伤害人类、伤害环境和伤害自身三类。包含正常指令、基线危险指令和通过 6 种越狱方法生成的对抗增强指令，共 9,900 条。

图 4：AGENTSAFE 基础指令统计——（a）指令类别分布；（b）指令长度分布，均值 11.8 词。

SAFE-DIAGNOSE 协议在三个阶段分别评估：感知阶段（GR/HR）、规划阶段（PRR/PSR）、执行阶段（TSR）。如公式 1 所示，智能体在每个时间步根据观测和指令生成动作。

规划成功率（PSR）衡量智能体生成完整、连贯且可执行动作规划的比例，如公式 7 所示：

任务成功率（TSR）衡量最终环境状态与目标状态匹配的指令比例，如公式 8 所示：

SAFE-AUDIT 思维级安全模块在智能体初始思维阶段审计并修正不安全推理。如公式 9 所示，利用 GPT-4o 对初始思维进行分诊：危险则拒绝，欠优则改进，安全则通过。

实验

实验设置：评估 9 个前沿 VLM 及 ReAct/ProgPrompt 两种架构，通过统一适配器集成，使用 SAFE-DIAGNOSE 三阶段评估。

正常指令评估：如表 1 所示，所有模型感知良好（平均 GR 超 60%），GPT-5-mini 和 Step-v1-8k 领先（GR 最高 82.79%）。Claude-sonnet-3.5 出现 18.67% 的异常 PRR，表明过度保守。动作接地模块实现 92.22% 有效规划执行率。

表 1：正常指令下各模型三阶段性能指标（%）——GPT-5-mini 和 Step-v1-8k 的 GR 领先，Claude-sonnet-3.5 过度保守。

危险指令评估：如表 2 所示，Claude 系列人伤 PRR 达 85-90%，而 Gemini-2.5-flash 和 Step-v1-8k 仅 0-7.78%。规划分歧直接影响执行——规划是安全的关键阶段。

表 2：危险指令下各模型三阶段指标（%）——Claude 安全性最强，Gemini/Step 几乎不拒绝危险指令。

对抗增强指令：如图 5 所示，多语言越狱可将无害指令转化为危险动作。

如图 6 所示，仅多语言方法提升了 PSR/TSR，其他越狱方法反而降低执行效果——越狱虽能绕过安全对齐，但往往损害指令清晰度，对具身规划至关重要。

图 5：智能体执行对抗增强指令造成环境危害的案例演示。

图 6：Gemini-2.5-flash 在对抗增强指令下的性能——感知稳定，规划和执行受越狱方法影响显著。

VLM 与智能体工作流对比：ReAct/ProgPrompt 的 HR 为 0%，优于部分 VLM。ProgPrompt 始终不拒绝恶意指令（PRR 0%），ReAct 人伤 PRR 达 51.28%。

防御方法对比：如图 7 所示，正常指令上 SAFE-AUDIT 略微提升 TSR（+2.22%），ThinkSafe 下降 14.96%。如图 8 所示，危险指令上 SAFE-AUDIT 将 PSR/TSR 降至 3.52%/0.48%。

图 7：防御方法在正常指令上的对比——SAFE-AUDIT 保持功能并提升 TSR，ThinkSafe 严重损害性能。

图 8：防御方法在环境危害指令上的对比——SAFE-AUDIT 将 PSR/TSR 降至 3.52%/0.48%。

诊断分析：规划阶段被确认为最脆弱环节。基线危险指令上，智能体往往未能检测不安全语义（低 PRR），却生成安全违规的计划。对抗增强指令在所有阶段诱发失败。这些结果凸显了全流水线安全推理的必要性。

结语

本文提出 AGENTSAFE，首个面向具身 VLM 智能体的综合安全基准。通过对 9 个前沿 VLM 和 2 种智能体工作流的全面评测，揭示了关键安全漏洞：当前智能体虽能感知危险，却无法将认知转化为安全的规划与执行。

SAFE-AUDIT 思维级安全模块将危险执行率降至 0.48% 且不损害正常性能。未来工作将围绕更强的多模态攻击、仿真到物理环境迁移、安全对齐机制展开。

关于 BraneMatrix（布兰矩阵）

我们是一家由顶级AI原生安全专家、全球知名算法科学家、专家资深红队研究员和全栈创造力出类拔萃开发者共同创立的AI原生安全为底层科研基石的创造型公司。

我们的使命是：

打造全球领先的AI安全检测平台与防御系统，确保AI在安全、道德、合规的框架下运作，始终为人类社会服务，并用AI原生安全为基础技术能力让人类通往AGI时代。

我们相信真正的 AI 安全不是补丁，而是一套完整且可信赖的社会机制、工具链和能力体系。BraneMatrix 要保护的是“由模型驱动的软件系统”；解决的是解释权、决策权与行动权。

谁能守住这三权，谁才能真正打开 Agent 时代。我们邀请你加入，一起写下这一章。

布兰矩阵将继续以技术为矛，倡议为盾，在国家战略框架指导下，为中国算法安全走向工程化、标准化、全球化，贡献开源力量。