揭开大语言模型的脆弱面：对抗攻击研究综述（三）

提示注入与越狱的区别 提示注入攻击主要聚焦于操控模型输入，通过对抗性构造的提示，使模型错误地将输入数据视为指令，从而生成攻击者控制的误导性输出。这类攻击劫持了模型本该执行的任务，该任务通常由系统提示决定。相比之下，越狱提示专门设计用来绕过服务提供商通过模型对齐或其他约束施加的限制，目标是使模型产生超出安全训练和对齐范围的输出。攻击者机会：提升指令遵循目标权重 近年来，大型语言模型在遵循指令方面取得