顶会顶刊AI安全论文研读第六期：EMNLP 2025 | 基于模型上下文完整性协议的MCP安全防护

AI安全处于一个技术早期阶段，因此我们推出一个全新的“顶会顶刊AI安全论文研读”系列，方便全行业同仁和有志于从事AI安全的新生代学习理解最新技术与行业发展动态。也欢迎大家关注我们栏目的合集。

本次为大家带来的是第六期：EMNLP 2025 | 基于模型上下文完整性协议的MCP安全防护

第一期回顾：顶会顶刊AI安全论文研读第一期：ICCV 2025 | 基于启发式诱导的多模态风险分解越狱攻击方法：突破MLLMs安全防线

第二期回顾：顶会顶刊AI安全论文研读第二期CVPR 2025 highlight分散即关键基于子图像对比分散策略多模态大模型越狱攻击研究

第三期回顾：顶会顶刊AI安全论文研读第三期：ICML 2025 | GuardAgent：让AI智能体“有守护者”的第一步

第四期回顾：顶会顶刊AI安全论文研读第四期：ICCV 2025 | 机器人的“视觉欺骗”：一个彩色补丁如何让智能机器人“精神错乱”

第五期回顾：顶会顶刊AI安全论文研读第五期：AAAI 2026 | PhysPatch：面向MLLM驱动自动驾驶系统的物理可实现对抗贴片框架

作者介绍

本文研究团队来自香港科技大学与华为技术有限公司，是AI安全与大模型推理领域的顶尖研究力量。团队长期深耕大语言模型的可信与安全问题，尤其在隐私保护与安全交互机制方面具有深厚积累。本次提出的MCIP是首个针对模型上下文协议（MCP）安全风险的系统性解决方案，为AI助手时代的工具调用安全树立了新标准。

导读

当模型上下文协议（MCP）为用户和开发者带来便捷生态的同时，它也引入了尚未被充分探索的安全风险。MCP的去中心化架构将客户端和服务器分离，为系统性安全分析带来了独特挑战。本文提出了一种全新框架，旨在增强MCP的安全性。

在MAESTRO框架指导下，本文首先分析了MCP中缺失的安全机制，并基于此提出了模型上下文完整性协议（MCIP）——MCP的一个改进版本，用于填补这些安全缺口。接着，本文开发了一个细粒度分类法，全面捕捉MCP场景中观察到的各类不安全行为。

基于这一分类法，构建了评估基准和训练数据，用以评估和提升大语言模型（LLMs）识别MCP交互中安全风险的能力。利用所提出的基准和训练数据，对最先进的大语言模型进行了广泛实验。

结果揭示了LLMs在MCP交互中的脆弱性，并证明提出的方法能显著提升其安全性能——在风险识别准确率上比现有最佳模型提升了40.81%，在安全意识准确率上提升了18.30%。

这项研究不仅首次系统性地探索了MCP的安全问题，更提供了一个全新的安全范式：当AI助手能调用外部工具时，安全不仅关乎"不能回答什么"，更关乎"为什么调用这个工具"。MCIP通过追踪每一次信息流动的完整轨迹，为AI助手时代的工具调用安全树立了新标准,本工作对应的论文已开源。

【论文题目】MCIP: Protecting MCP Safety via Model Contextual Integrity Protocol

【论文链接】https://aclanthology.org/2025.emnlp-main.62.pdf

【代码链接】https://github.com/HKUST-KnowComp/MCIP

研究背景

随着大语言模型（LLMs）的快速发展，函数调用机制已逐步统一为LLMs与外部工具交互的标准化接口。模型上下文协议（MCP）是一种开放的统一协议，采用灵活可扩展的架构，旨在促进LLMs与外部工具、实时数据源及记忆系统的无缝交互。

图1展示了典型MCP交互的客户端-服务器工作流程：当用户请求获取美国当前市场趋势及价格时，主机将查询转发给客户端，客户端通过MCP协议作为传输层与服务器通信，检索可用工具列表，选择合适的工具（如金融API），调用其获取外部数据，最终由助手将结果呈现给用户。

图1: MCP框架概述

尽管已有大量研究关注LLM的安全问题，如越狱攻击、后门攻击与反演攻击，研究焦点正逐步转向可信的LLM智能体，特别是那些具备调用外部函数或与工具交互能力的系统。然而，在MCP系统中，客户端与服务器独立部署，复杂的客户端-服务器交互引入了新的安全挑战：识别MCP中的安全风险，不应被视为局限于调用准确性或敏感隐私泄露的孤立问题，而必须考虑函数调用是否在上下文中被恰当执行。

许多传统风险分析框架未能充分捕捉AI智能体引入的独特复杂性。为弥补这一差距，CSA近期提出了MAESTRO框架（CSA，2025），为AI研究人员提供了一种结构化的多层风险分析方法。它强调漏洞如何在不同层级内部及跨层级产生。图2可视化了这些层级。第6层贯穿所有其他层级，这意味着安全与合规控制应整合到AI智能体操作的各个方面。

图2: MAESTRO的AI智能体七层参考架构

当前MCP架构缺乏对信息流完整性的系统性保障。攻击者可注册与合法服务同名的恶意服务器，诱导LLM将敏感信息发送至非授权接收方；或在函数返回值中注入指令，使助手执行超出用户意图的操作。现有安全机制无法判断“谁向谁传递了什么数据”、“依据何种原则进行传递”，因而无法识别此类上下文层面的攻击。因此，亟需一种新的框架，系统性地分析MCP中的安全缺失，并建立可审计、可验证的交互协议。

动机

为填补上述安全缺口，本研究提出模型上下文完整性协议（Model Contextual Integrity Protocol, MCIP），作为MCP的安全增强版本。本工作基于MAESTRO框架（CSA, 2025）——一个面向智能体AI的七层安全建模架构——对MCP组件进行映射分析，识别出MCP在当前实现中缺失的两个关键安全组件：追踪工具（Tracking Tools）与安全感知模型（Safety-Aware Models）。

基于此分析，MCIP通过两个核心增强机制对MCP进行改进：（1）引入结构化的信息流追踪日志格式，将每一次工具调用记录为包含发送者、接收者、数据主体、信息类型与传输原则的五元组轨迹；（2）构建MCIP Guardian，一个基于该轨迹数据训练的安全感知模型，用于识别和防御恶意交互行为。

本研究首次系统性地评估了MCP的安全性，并强调将函数调用置于多组件上下文中判断风险是否产生。为支持该目标，构建了一个细粒度的风险分类体系，沿五个维度（阶段、来源、范围、类型、MAESTRO层级）组织MCP场景中的安全风险，并据此构建了评估基准MCIP-bench与结构化训练数据集。实验表明，当前最先进的LLM在MCP交互中普遍存在安全盲区，而MCIP框架能显著提升其风险识别能力。

本工作以MCP为实例，但其提出的上下文完整性建模思想可推广至更广泛的LLM智能体系统，为构建具备可追溯、可审计、可验证交互能力的下一代AI系统提供基础性支撑。

方法

表1: MAESTRO各层与MCP组件的映射关系

表1总结了MAESTRO各层与MCP组件的映射关系。MCP存在两个缺失组件：缺少追踪工具和缺少安全感知防护机制。相比之下，所提出的MCIP是一个升级系统，通过以下方式增强MCP：

◎1. 追踪日志格式：支持信息流追踪；

◎2. 安全感知模型：能够从追踪日志中学习，以防护真实世界的交互行为。

为解决MCP系统中缺失的MAESTRO第5层，设计了MCIP的追踪工具。在现实场景中，MCP交互以自然语言对话形式呈现，使得结构化分类和数据生成极具挑战。为在结构化格式中保留每一步，首先定义模型上下文完整性（MCI）作为追踪工具的基础概念。

MCI定义：基于CI的定义，提出MCI公式。在此框架下，每个案例均以结构化格式记录在系统日志中。遵循CI，将单个案例定义为信息流轨迹。信息流是一个包含5个元素的元组：发送者（Sender）、接收者（Recipient）、数据主体（Data Subject）、信息类型（Information Type）和传输原则（Transmission Principle）。

轨迹是信息流的有序列表。为便于理解，发送者、接收者和数据主体可能分别对应用户、客户端或外部服务器。信息类型可以是用户查询、函数列表或其他内容。传输原则可从函数描述中推导，并与其他元素相关联，指定MCP交互的方式，如数据最小化、透明性和用户明确授权。

轨迹是信息流的有序序列。在典型的MCP场景中，轨迹必须始于用户查询：用户向客户端发送关于主体的查询，依据传输原则。

轨迹可能包含：客户端向服务器发送关于主体的函数请求（或函数参数），依据传输原则。

轨迹也可能包含：服务器向客户端发送关于主体的函数列表（或函数返回值），依据传输原则。

轨迹以以下步骤结束：客户端向用户发送关于主体的响应，依据传输原则。

在所提出的MCIP中，日志以信息流轨迹为单位存储。每个轨迹记录为一个5元素元组列表，实现细粒度的追踪与审计。

针对MAESTRO框架应用于MCP时缺失的第6层，提出MCIP防护模型（MCIP Guardian），这是一个安全感知模型。该模型不仅用于判断是否存在不安全因素，还提供细粒度的风险分类，以支持有效防御。为实现此目标，进一步提出一套包含以下内容的方案：第4节中的细粒度风险分类体系、第5节中用于评估LLMs安全能力的分类引导基准，以及第5节中用于增强LLMs风险识别性能的训练数据集。

在增加这两个组件后，MCIP支持完整的攻防生命周期。如下所示

◎攻击：来自市场的恶意MCP客户端和MCP服务器攻击基础模型，执行非预期或未经授权的操作。

◎防御：安全模型可从过去的追踪文件中学习，以防御实时攻击行为。

分类

图3: MAESTRO的AI智能体七层参考架构

如图3所示，呈现了在MCIP中构建一个多维风险分类体系，并对风险进行分类。

1. 威胁阶段（Threat Phase）

MCP过程分为三个阶段：配置阶段（Config）与终止阶段（Termination）：涉及客户端与服务器的基础设施部署与市场管理，风险源于恶意行为者误导用户信任不安全服务器，对应MAESTRO第7层（智能体生态系统）。

客户端-服务器交互阶段（Interaction）：MCP的核心，也是最脆弱环节。客户端与服务器均可能向LLM注入恶意指令，对应MAESTRO第3、4层。

2. 威胁来源与类型（Threat Source & Type）

来源：风险可来自客户端（如提示注入、身份伪造）或服务器（如函数重名、权限提升）。

类型：包括混淆（Confusion）、注入（Injection）、过度特权（Escalation）、冗余（Redundancy）、漂移（Drift）、覆盖（Overwriting）、腐败（Corruption）、规避（Evasion）等。

3.威胁范围（Threat Scope）

基于MCI，定义三级威胁范围：

◎ 流内行为（Intra-flow）：违反五元组中某一元素，如发送者、接收者错误；

◎ 单流行为（Single-flow）：引入不必要操作或遗漏必需操作，如跳过验证；

◎ 跨流行为（Inter-flow）：破坏动作间的因果顺序，如先访问数据再验证身份。

该分类体系共涵盖10类具体风险（如Function Overlapping、Causal Dependency Injection、Identity Injection等），并与MAESTRO各层对齐。

实验

实验设置

1) 评估指标

评估基于三个指标：两个衡量模型的安全鲁棒性，一个评估其实际效用：

安全指标：由于基准支持二元分类（安全 vs. 不安全）和细粒度11类风险分类，定义了两个安全评估指标：安全意识（Safety Awareness），通过二元分类任务的准确率衡量；风险抵抗（Risk Resistance），通过11类风险识别任务的准确率衡量。

ToolACE风险抵抗旨在通过引入训练中完全未见的新函数，评估模型的泛化能力。

效用指标：由于MCIP-bench旨在评估与安全相关的漏洞，验证MCIP Guardian的安全导向设计是否影响其可用性至关重要。因此，进一步使用BFCL-v3基准（Yan et al., 2024）来评估安全鲁棒性与函数调用能力之间的权衡。采用BFCL-v3基准的总体准确率作为模型效用的衡量标准，反映其在非对抗条件下的通用功能能力。

2）训练细节

训练使用OpenRLHF（Hu et al., 2024）在4×NVIDIA H800 80GB GPU上进行。在监督微调期间，使用5×10⁻⁶的学习率、批量大小为2、最大序列长度为2,048，训练3个epoch。使用开源模型Salesforce/Llama-xLAM-2-8b-fc-r（Prabhakar et al., 2025）作为基线模型，这是最先进的函数调用模型之一。

实验结果

表2: 在四个评价指标上的实验结果：BFCL 总体准确率、风险抵抗能力（Risk Resistance）、ToolACE 风险抵抗能力以及安全感知能力（Safety Awareness）。带有下划线且加粗的数值表示在该指标上表现最好的模型，而仅加粗的数值表示在该指标上表现第二好的模型。

1）整体性能

评估基线模型和MCIP Guardian的BFCL总体准确率和安全性能。综合结果见表2。

结果表明以下发现：

模型在复杂上下文中难以具备风险意识。来自Qwen系列和DeepSeek-R1的实验结果表明，即使是最先进和规模最大的模型，也难以准确感知安全风险。

例如，Qwen2.5-32B-Instruct在安全意识指标上仅达到50.08%的准确率，几乎等同于随机猜测。即使是表现最佳的基线模型DeepSeek-R1，也仅达到67.37%，凸显了模型安全意识的巨大差距。这一局限在函数调用LLM中尤为明显。

像xLAM系列和ToolACE这样的模型在识别潜在风险方面表现不佳，仅能识别出一小部分定义的威胁模式。例如，xLAM-2-8B-fc-r在风险抵抗任务中仅能获得13.35%的准确率。一个可能的解释是，这些模型倾向于过度批准，缺乏在良性与对抗性调用之间足够的辨别能力。

通用能力，而非函数调用能力，促进安全。从表2中观察到，具有强大通用推理能力的模型，如DeepSeek-R1和Qwen2.5-72B-Instruct，在风险抵抗和安全意识指标上持续优于面向函数调用的模型（如xLAM和ToolACE）。

尽管缺乏高度专业化的函数调用能力，这些通用模型表现出更好的上下文理解和更可靠的判断。例如，DeepSeek-R1在风险抵抗准确率上达到最高（42.28%），并在ToolACE风险抵抗和安全意识上表现第二佳。这表明强大的通用建模和对齐在风险检测中比单纯的函数调用能力更为关键。

图4: 安全性–效用权衡（Safety-Utility Trade-off）：通用模型 vs. 函数调用模型 vs. MCIP Guardian

LLM表现出安全-效用权衡。考察效用与安全的双重维度，通过BFCL总体准确率和风险抵抗来衡量。如图4所示，这种权衡也在MCP带来的安全挑战中显现。虽然函数调用能力增强了LLM的交互性，但往往扩大了风险面。

像xLAM和ToolACE这样的模型在效用得分上高达或接近70%，但难以缓解安全威胁。相反，通用目的LLM如Qwen系列和DeepSeek-R1表现出更强的风险抵抗能力，但通常为此牺牲了效用。

值得注意的是，MCIP Guardian实现了更平衡的权衡，在风险抵抗方面取得显著收益，同时保持了有竞争力的效用水平。这表明，有针对性的上下文对齐，而非单纯依靠模型规模或功能支持，是改善LLM安全而不损害实用能力的关键。在第7.2节进一步进行消融研究，系统性地探究功能能力与安全之间的权衡。

2）消融研究

图5: 各模型召回率对比

函数调用LLM倾向于过度批准。如前面所述，进行消融研究以探究函数调用模型安全表现不佳的原因。如图5所示，报告了召回率得分。具体而言，“安全”和“不安全”指安全意识任务中两个类别的每类召回率，而“风险抵抗”指风险抵抗任务中所有风险类别的加权召回率。

分析揭示，针对函数调用的专门训练往往使模型过度批准函数执行，常以忽略潜在风险为代价。这表明存在一个缺失的对齐信号：当前的函数调用对齐仅关注如何调用函数以完成任务，而不关注在给定条件下这些函数是否应该被调用。

图6: MCIP Guardian 训练过程

MCIP Guardian的安全-效用权衡。图6展示了主要训练阶段内及之后的性能曲线，说明了安全与效用随时间的演变。观察到，有用性最初下降，而与安全相关的指标稳步提升。总体而言，有用性的下降是适度的，而安全性能显著提高。这些结果表明，训练策略实现了有利的平衡，有效提升了双目标约束下的整体性能。

结语

本文提出了MCIP，一个探索MCP安全漏洞的开创性框架。在现有安全建模框架的指导下，通过引入关键安全机制增强了MCP，并在MCIP中形式化了这些改进，使其成为更安全的协议变体。

在MCIP内，本文构建了一个分类体系来分类潜在的安全风险，并随后开发了针对这些风险的评估基准和训练数据。在论文中，实验为最先进LLM模型提供了实证结果，并得出了若干深刻见解。未来，该方向可以探索大规模数据生成，并追求安全与功能的双重对齐。

关于 BraneMatrix（布兰矩阵）

我们是一家由顶级安全专家、全球知名算法科学家、专家资深红队研究员和全栈创造力出类拔萃开发者共同创立的新型安全公司，致力于打造全球领先的大模型算法安全检测平台与防御系统。

我们的使命是：

确保AI在安全、道德、合规的框架下运作，始终为人类社会服务。

我们相信真正的 AI 安全不是补丁，而是一套完整且可信赖的社会机制、工具链和能力体系。我们邀请你加入，一起写下这一章。

布兰矩阵将继续以技术为矛，倡议为盾，在国家战略框架指导下，为中国算法安全走向工程化、标准化、全球化，贡献开源力量。