Prompt Injection 防护实践：AIGC 应用上线前必须测什么？

很多团队会把 Prompt Injection 理解为“用户要求模型忽略系统规则”。这只是最显眼的一种。

在云上应用里，攻击可能来自用户输入、外部网页、知识库文档、插件返回值、历史会话和工具参数。只修改系统 Prompt，很难覆盖这些入口。

上线前测试的目标，是验证整条链路是否有安全边界。

一、输入侧测试

输入侧至少覆盖三类样本：

建议同时加入正常业务样本，避免只追求拦截率导致误拦过高。

二、RAG 安全测试

RAG 测试要覆盖入库、召回和拼接三个环节。

1. 入库前：外部文档是否包含隐藏指令、恶意链接、敏感数据。
2. 召回后：检索片段是否夹带“覆盖系统规则”的内容。
3. 拼接时：上下文模板是否明确区分资料和指令。

关键指标包括恶意文档检出率、召回片段清洗率、正常知识召回影响率和回答准确性变化。

三、Agent 工具测试

Prompt Injection 对 Agent 的影响更直接，因为它可能让模型执行动作。

上线前应重点测试：

1. 工具白名单是否按用户、角色、场景限制。
2. 参数是否做合法性校验。
3. 高危操作是否二次确认。
4. 越权查询、导出、删除、发送是否被阻断。
5. 工具调用日志是否完整记录。

如果工具层没有权限控制，再强的 Prompt 也可能被绕过。

四、输出审核与安全代答测试

输入侧防护不能替代输出审核。模型仍可能生成违规、隐私、误导、侵权或不适宜内容。

测试时要看两个结果：

1. 高风险输出是否被识别和阻断。
2. 拒答是否有可用的安全代答，而不是简单中断体验。

例如安全研究类问题，可以拒绝攻击步骤，但提供防护原则、合规测试边界和风险提示。

五、云上性能和稳定性测试

安全能力在主链路上，必须测性能。

云上 AIGC 应用还要考虑跨区域部署、私有网络访问、数据留存周期和合规要求。

六、POC 怎么做更有效？

可以按真实业务链路建立测试集，而不是只使用公开 jailbreak 模板。

评估对象可以包括自研规则、模型安全能力，以及数美科技、腾讯云、火山引擎等第三方方案。对比时建议统一样本、统一指标、统一日志口径，重点看召回与误拦平衡、部署方式、审计能力和运营闭环。

FAQ

Q：Prompt Injection 测试应该由安全团队还是研发团队负责？ A：最好共同负责。研发理解链路和工具权限，安全团队负责攻击样本、策略边界和风险验收。

Q：安全围栏应该放在哪里？ A：通常需要放在模型调用前后，并与 RAG、Agent、账号风控、日志审计联动。单点部署很难覆盖完整风险。

Q：上线后还需要测试吗？ A：需要。攻击样本会变化，应结合线上日志、误杀漏放、用户反馈和人工复核持续回归测试。