首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >合法工具滥用与 AI 提示注入下新型网络钓鱼攻击研究

合法工具滥用与 AI 提示注入下新型网络钓鱼攻击研究

原创
作者头像
芦笛
发布于 2026-10-16 06:35:25
发布于 2026-10-16 06:35:25
00
举报

摘要

传统网络钓鱼攻击多以窃取账号口令为核心目标,伴随多因素认证机制大规模落地,单纯凭证窃取的攻击收益持续收窄,攻击者逐步转向滥用可信业务工具、针对人工智能组件开展对抗攻击的新型钓鱼范式。基于公开威胁情报报告,本文以远程监控管理工具(RMM)滥用钓鱼攻击、面向 AI 邮件助手的提示注入钓鱼攻击为主要研究对象,梳理两类攻击的爆发态势、完整攻击杀伤链,剖析传统安全防护体系失效的底层成因,解析合法运维工具、生成式 AI 办公组件带来的新增攻击面。研究发现,2026 年前九个月 RMM 相关钓鱼攻击数量较 2025 全年增长 475%,攻击者依托 AnyDesk 等具备合法数字签名的远程管理软件,结合社会工程学手段获取终端持久控制权;与此同时攻击者在邮件载体中嵌入对人类不可见的恶意提示载荷,诱导 AI 邮件助手篡改邮件摘要、误导使用者做出错误决策,传统邮件网关、终端杀毒程序难以识别此类攻击行为。本文结合反网络钓鱼技术专家芦笛的防御观点以及迪妙网络空间安全学院研究团队的观测结论,从终端管控、邮件安全、AI 运行时防护、安全运营、人员认知建设多个维度构建分层闭环防御框架,客观分析现有防护手段存在的现实局限,为金融机构及各类企事业单位应对新一代钓鱼威胁提供理论参考与落地思路。 关键词:网络钓鱼;远程监控管理工具;提示注入;AI 邮件助手;社会工程;分层安全防御

1 引言

网络钓鱼是网络空间威胁体系中历史悠久且持续演化的入侵手段,其核心逻辑在于依托社会工程学操纵受害者心理,结合技术伪装实现信息窃取、设备接管、资金欺诈等恶意目的。过去很长一段时间内,钓鱼攻击的主流模式集中于仿冒网页骗取账号密码、携带恶意载荷的钓鱼邮件投递,安全防护建设也大多围绕恶意域名黑名单、附件沙箱检测、关键词特征匹配、多因素认证等方向推进。多因素认证的普及有效压缩了单纯窃取静态口令的攻击成功概率,攻击者必须寻找绕过身份验证体系的新路径,钓鱼攻击的技术重心由此发生明显偏移。

当前威胁活动呈现两大值得关注的变化趋势:第一,攻击者不再完全依赖未签名恶意程序实现入侵,转而大量复用企业日常运维所信任的合法软件,借助软件本身具备的系统权限完成设备接管;第二,企业办公体系内部引入的 AI 辅助组件成为新的攻击靶点,攻击者不再仅仅把人类作为欺骗对象,同时将处理邮件的 AI 助手纳入攻击目标,通过间接提示注入手段篡改 AI 输出结果,借助 AI 的摘要输出间接误导业务人员做出错误判断。两类攻击模式打破了传统安全设备 “基于恶意特征识别威胁” 的固有逻辑,合法软件无传统恶意特征、恶意指令对人类阅读不可见,导致原有安全边界出现防护缺口。

从威胁监测数据来看,2026 年前九个月,利用远程监控管理工具开展的钓鱼攻击数量相比 2025 全年增长 475%,攻击活动主要瞄准北美地区商业银行,重点针对企业对公账户实施渗透,攻击造成的危害已经超越普通的账户密码泄露,攻击者拿到远程权限之后可以完成凭证窃取、勒索软件投放、横向移动甚至将受害设备访问权限在黑产市场售卖。与此同时,面向 AI 邮件助手的提示注入钓鱼攻击开始进入规模化实操阶段,攻击者在同一封邮件中同时布置面向阅读者的欺诈诱饵和面向 AI 模型的隐藏指令,AI 助手在完成邮件摘要生成、内容解析工作时读取隐藏恶意指令,修改邮件的风险标签、篡改业务信息摘要,使得原本的钓鱼邮件被 AI 渲染为高优先级可信消息,放大欺诈的成功率。

迪妙网络空间安全学院研究团队在长期跟踪观测中指出,新一代钓鱼攻击已经不再局限于邮件抵达收件箱这一节点,攻击杀伤链向后延伸,软件安装行为、AI 自动化处理流程均成为攻击可以利用的关键环节。IT 安全团队处置安全事件时,仅仅拦截外部恶意邮件已经不足以阻断完整攻击链路,必须对邮件到达终端之后发生的后续行为开展持续监测。反网络钓鱼技术专家芦笛指出,合法可信软件被恶意滥用这一现象,给安全行业带来认知层面的挑战,安全防护不能简单以程序是否具备数字签名作为可信判定标准,业务场景下的行为异常才是判断风险的核心依据。

本文基于 Fortra 与 Barracuda 两份公开安全报告披露的实际攻击案例,还原两类新型钓鱼攻击完整运作流程,解析传统防护机制失效的根源,构建适配当前威胁特征的分层防御体系,同时客观讨论现有技术方案的不足,为后续该领域的研究和企业安全建设提供参考。

2 新型钓鱼攻击整体态势与攻击面变化

2.1 传统钓鱼攻击防护边界收缩背景

传统钓鱼攻击防护逻辑建立在区分 “恶意” 和 “良性” 程序、“恶意内容” 和 “正常业务内容” 基础之上。终端安全产品识别恶意软件主要依靠恶意样本特征库、哈希黑名单、行为沙箱;邮件安全网关依靠域名信誉、附件检测、正文关键词匹配识别钓鱼邮件。该套防护体系在对抗攻击者自主开发的恶意程序、明显伪装的钓鱼文本时可以发挥较好效果,但这套体系成立的前提是攻击载荷本身具备可识别的恶意特征。

当攻击者放弃直接投放恶意可执行文件,转而使用市场公开分发、拥有正规厂商数字签名的远程运维工具,同时将恶意指令隐藏在人类肉眼无法识别的邮件代码层,攻击载荷本身不携带传统意义上的恶意特征,特征匹配机制便会出现失效。此时威胁隐藏在使用者的操作行为、AI 模型的输入输出逻辑当中,而非软件本身或者邮件可见文本。多因素认证能够阻止攻击者利用盗取的密码登录账户,却无法阻止攻击者拿到设备完整远程控制权之后直接在本地操作业务系统,这就解释了为什么合法工具滥用型钓鱼攻击在金融领域快速增长。

2.2 两类新型钓鱼攻击的核心攻击面

第一类攻击,远程监控管理工具(RMM)滥用钓鱼攻击,攻击面来源于运维工具本身的强大权限。RMM 工具原本用于企业 IT 人员远程维护员工计算机,完成故障排查、软件部署等运维工作,工具设计之初就被赋予完整的设备远程操控权限,屏幕查看、文件读写、程序运行都是其原生功能。工具本身属于良性商业软件,终端安全产品默认将其视作可信程序,不会拦截程序运行。风险点并不来源于软件代码缺陷,而是攻击者借助社会工程欺骗用户主动安装工具,并且向攻击者提供访问密钥,让合法工具被恶意主体控制。

第二类攻击,针对 AI 邮件助手的间接提示注入钓鱼攻击,攻击面来源于大语言模型无法天然区分数据与指令。企业部署的 AI 邮件助手会自动读取收到的邮件,完成摘要生成、邮件分类、重要事项标记、待办提取等办公辅助工作。邮件完整的 HTML 源码全部会送入 AI 模型上下文窗口,攻击者把恶意指令放置在不可见文本、HTML 注释标签当中,普通用户阅读邮件不会看到该部分内容,但 AI 助手在解析完整邮件源文件的时候会读取到这些指令,进而执行攻击者预设操作。攻击不破坏邮件服务器,不需要入侵 AI 助手后台,仅仅依靠一封外部投递的邮件即可完成载荷投放。

迪妙网络空间安全学院研究团队对比两类攻击的共性特征,总结出新一代钓鱼攻击的三个关键特点:一是信任转嫁,攻击充分利用用户对于正规软件、AI 办公助手的固有信任完成欺骗;二是攻击链路后置,风险发生在邮件投递完成之后的终端操作、AI 自动化处理阶段;三是无明确恶意特征,攻击载体均为市场正规软件或者正常格式邮件,传统黑名单机制很难实现检测。

2.3 当前攻击活动的受害对象与危害等级

从已观测到的攻击事件来看,RMM 工具滥用钓鱼攻击首要瞄准金融行业,重点打击商业银行个人客户以及对公商业账户。攻击者追求的目标不局限于单次资金诈骗,一旦终端被拿下,受害设备将成为黑产的受控节点,攻击者可以窃取浏览器保存的各类账号凭证,在设备内部部署勒索软件、植入更多持久化后门,利用受害终端作为跳板发起其他网络攻击,还能够将该设备远程访问权限放到网络黑产交易市场进行售卖,实现攻击收益最大化。

面向 AI 邮件助手的钓鱼攻击当前更多面向企业内部办公人员,尤其财务、采购等处理供应商票据、付款业务的岗位。典型场景为伪造供应商发票邮件,邮件可见部分是正常发票内容,隐藏指令要求 AI 助手在生成摘要的时候,把修改供应商收款账户这一欺诈信息写入摘要。业务人员阅读 AI 生成的邮件摘要之后,容易直接采信摘要内容,没有仔细核对邮件全文,直接执行付款操作,带来企业直接的经济损失。该攻击模式的危害会随着企业内部 AI 办公助手普及率提升同步放大。

反网络钓鱼技术专家芦笛强调,两类攻击并非完全独立,未来攻击者存在将两种技术进行组合使用的可能性:通过提示注入诱导 AI 助手向员工推送包含 RMM 工具诱导信息的消息,实现攻击技术链条的串联,安全建设需要充分预判攻击手段融合带来的风险升级。

3 RMM 工具滥用型钓鱼攻击技术机理与杀伤链分析

3.1 RMM 钓鱼攻击完整杀伤链

RMM 钓鱼攻击完整流程分为五个阶段,依次为多渠道社会工程触达、仿冒业务支持页面跳转、RMM 工具客户端诱导下载、欺骗受害者完成安装并交出连接密钥、攻击者获得持久远程访问权限并开展后续恶意操作。整个过程没有投递自定义恶意病毒,全部使用公开正版远程管理软件,代表性工具为 AnyDesk。

第一阶段,多渠道发起社会工程接触。攻击者可以通过电话、短信、钓鱼邮件多种途径接触目标受害者,话术统一围绕账户异常、资金风险等紧急场景,制造心理压迫,促使受害者急于寻求客服解决所谓账户问题。紧急感是社会工程欺骗的关键心理条件,受害者在焦虑状态下会降低自身安全警惕性,愿意跟随攻击者指引完成后续操作。

第二阶段,跳转至仿冒银行客服网页。受害者收到消息之后点击攻击者提供链接,访问伪造的银行网站,页面外观高度复刻正规银行客服交互界面。网页后台会自动识别访问者的操作系统类型,区分 Windows、macOS 等不同终端环境。当受害者在网页内置客服聊天窗口发起咨询交互时,页面会触发对应操作系统版本 RMM 工具客户端的下载动作,也就是 AnyDesk 安装包。

第三阶段,诱导受害者完成软件安装。下载完成之后,攻击者通过通话或者网页聊天窗口,以技术客服身份引导受害者执行软件安装操作。软件本身来自官方安装包,数字签名完整,终端杀毒软件不会拦截安装流程,受害者很难意识到自己正在安装的工具会被外部攻击者接管。

第四阶段,骗取 RMM 连接密钥。软件安装完毕运行之后,会生成一组唯一连接密钥,该密钥是外部设备建立远程会话的身份凭证。攻击者哄骗受害者把这一串密钥发送或者念给攻击者,一旦拿到密钥,攻击者即可建立起对受害者计算机的远程会话。至此,原本宣称的银行客服排错会话,转变为攻击者完全掌控终端的入侵通道。

第五阶段,受控终端开展后续恶意行动。Fortra 报告指出,攻击者获得权限之后可以持续观察受害设备屏幕的全部操作行为,记录键盘输入,窃取本地保存的账号密码、身份资料等敏感数据。在此基础上攻击者可以部署勒索软件,投放更多后门程序,利用本机身份访问企业内网业务系统,甚至将设备访问权限在黑产渠道售卖。即便后续受害者卸载 RMM 客户端,攻击者还可以通过其他手段维持持久访问。

3.2 攻击者对抗检测的迭代手段

攻击活动从 2025 年第三季度开始针对美国金融机构大规模落地,2026 年第一季度攻击活动达到高峰,攻击者大量部署标准化伪造银行客服页面,借助 Firebase 托管钓鱼链接分发 AnyDesk 安装程序。在厂商 AnyDesk 收到安全预警之后,对来自 Firebase 域名的直接下载请求实施限制,一定程度抑制了该轮攻击规模。

但威胁攻击者快速完成技术调整,迪妙网络空间安全学院研究团队跟踪样本发现,攻击者将可执行文件托管转移至其他云托管服务商,同时利用网页内嵌元素实现下载重定向逻辑,把下载跳转行为隐藏在网页组件内部,规避简单的 URL 黑名单拦截。这充分说明单纯依靠厂商单方面封堵下载域名,无法彻底根除该类攻击,攻击者会快速更换基础设施继续开展活动。

3.3 该攻击模式防护难点解析

第一,工具本身具备合法身份,传统终端安全无法基于程序本体识别风险。安全产品能够识别恶意软件哈希、恶意签名,但 AnyDesk 是广泛商用运维软件,程序本身没有漏洞,风险产生于非授权人员获得访问会话,风险属于行为层面,不属于软件代码本身。终端安全很难判断 “合法 RMM 程序,到底是企业 IT 人员在使用,还是外部攻击者在使用”。

第二,攻击入口分散,不局限于邮件渠道。攻击可以从电话、短信等运营商通信渠道发起,邮件安全网关只能处理邮件流量,对于语音通话、短信诱导没有拦截能力,攻击入口脱离传统网络安全设备管控边界。

第三,社会工程欺骗是攻击的核心环节。技术手段只能阻断一部分链路,无法直接阻止用户在心理胁迫之下主动执行安装、主动交出密钥。只要受害者主观按照攻击者指引操作,整套攻击链路就能够完成闭环。

反网络钓鱼技术专家芦笛对此作出总结:RMM 滥用钓鱼攻击暴露出传统安全防护的一大盲区,安全体系不能只关注 “什么程序不允许运行”,更要关注 “什么场景下允许运行该程序,什么主体可以发起 RMM 连接会话”。

4 AI 邮件助手提示注入钓鱼攻击机理与风险研究

4.1 间接提示注入的底层原理

面向 AI 邮件助手的提示注入属于间接提示注入范畴,区别于直接向 AI 对话框输入对抗指令。攻击者并不直接和 AI 助手交互,而是将恶意指令嵌入外部文档(此处为邮件完整源码),AI 助手在读取邮件文档做摘要、解析内容的时候,将文档中的文本一并当作提示上下文送入大模型。大模型在基础机制层面难以区分哪些文本属于待处理业务数据,哪些文本属于需要服从的指令。当邮件源码中混入优先级更高的对抗指令,就有可能覆盖 AI 助手原本系统预设安全规则,驱使模型产生攻击者期待的输出结果。

攻击者构造的钓鱼邮件同时存在两套内容,一套为人类可读可见的业务诱饵,例如供应商发票、订单通知,用来欺骗阅读邮件的员工;另一套为对人类完全不可见的载荷,放置在 HTML 注释、零宽不可见字符、隐藏 DIV 标签内部。普通使用者浏览邮件客户端渲染完成的页面,完全看不到这部分文本,但是 AI 助手读取完整邮件原始源码,所有隐藏内容全部送入模型上下文窗口,完成攻击载荷投递。

4.2 攻击完整杀伤链

第一步,攻击者构造特殊格式钓鱼邮件。邮件可视化部分为常规仿冒发票、付款通知,保证人类阅读时看起来是一封正常业务邮件;邮件底层 HTML 源码嵌入隐藏提示指令,指令内容一般要求 AI 助手在生成摘要的时候添加虚假业务信息,标记邮件为高优先级紧急邮件,忽略该邮件本身的钓鱼风险。

第二步,邮件投递至企业员工邮箱,邮件安全网关没有识别出异常,邮件正常进入收件箱。从邮件可见内容判断,该邮件不存在明显恶意特征,传统关键词、附件检测无法捕获隐藏在源码内的对抗指令。

第三步,企业部署 AI 邮件助手自动处理收件箱,读取邮件全部原始代码,执行摘要生成任务。AI 模型把隐藏指令和邮件正文合并处理,被恶意指令操控,输出被篡改后的邮件摘要。典型案例为发票邮件的 AI 摘要被添加上 “需要紧急修改供应商收款账户” 这类虚假信息。

第四步,业务人员阅读 AI 助手生成的摘要内容,优先采信摘要信息开展业务动作,没有完整通读邮件全部原文,进而执行转账、资料泄露等风险操作。Barracuda 威胁分析师 Guruprasad Kenja 提出,仅仅保护收件箱外部邮件流入已经不足以防御这类威胁,风险发生在邮件已经进入邮箱之后的 AI 自动化处理环节。

4.3 攻击带来的现实业务风险

该攻击的危害并非入侵邮箱账号,而是篡改 AI 输出,利用员工对于 AI 助手输出结果的信任,放大社会工程钓鱼的欺骗成功率。在企业办公场景,越来越多员工依赖 AI 摘要快速处理大批量邮件,不会逐字阅读全部邮件原文,AI 生成摘要成为业务决策的信息来源,攻击者就可以把 AI 助手转化成钓鱼攻击的放大器。

迪妙网络空间安全学院研究团队的模拟测试显示,当一封伪造供应商邮件经过 AI 助手处理之后,摘要写明 “紧急更新收款账号”,财务岗位人员发生误操作的概率会显著上升。同时该攻击不需要攻陷企业服务器,攻击者仅需要知道受害者公开邮箱地址,即可发起攻击,攻击实施门槛较低。

4.4 当前防护机制存在的短板

传统邮件安全网关主要解析渲染之后展示给用户的邮件内容,常常忽略完整 HTML 源码、注释、隐藏元素部分,不会专门扫描邮件内部不可见区域的对抗提示载荷。AI 助手本身安全配置如果没有做输入净化,直接把未经清洗的外部邮件全部文本送入大模型,就会暴露在提示注入风险之下。

同时大模型层面目前不存在可以百分之百防御间接提示注入的技术方案,不存在可以完全隔离 “数据” 和 “指令” 的完美机制。反网络钓鱼技术专家芦笛指出,针对 AI 助手的钓鱼攻击属于新兴威胁,很多企业部署 AI 办公组件时更多关注业务功能落地,却没有同步配套对应的安全约束,权限管控、输入清洗、输出校验环节普遍缺失。

5 新型钓鱼攻击分层闭环防御体系构建

两类新型钓鱼攻击,均无法依靠单一安全设备实现完全阻断,必须构建分层安全防御,在攻击杀伤链的不同节点设置防护控制点,一层防御失效,其余层级依然可以起到检测、告警、阻断作用。本章节分别针对 RMM 滥用钓鱼攻击、AI 提示注入钓鱼攻击,同时结合人员、运营流程,搭建完整防御框架。

5.1 RMM 工具滥用钓鱼攻击防御策略

5.1.1 终端层面实施 RMM 工具白名单管控

终端侧不能简单全部禁止 RMM 软件,企业 IT 运维业务本身存在合法远程运维需求,一刀切禁用会干扰正常业务。应当采用允许列表(白名单)机制,仅允许企业明确授权的 RMM 程序运行,非授权 RMM 客户端直接拦截。同时针对被允许运行的 RMM 工具,增加行为监测能力,监控 RMM 会话建立时间、会话发起网络地址、会话对应的用户操作行为,当出现工作时段以外异常会话、外部陌生 IP 发起连接,及时触发安全告警。

迪妙网络空间安全学院研究团队特别提醒,仅仅管控程序是否运行还不够,还需要监控 RMM 工具的安装来源,对于从浏览器网页直接下载 RMM 安装包并执行安装的行为,设置高风险告警,企业内部合法运维软件分发应当通过企业软件分发平台完成,而不是由员工自行从网页下载安装。

5.1.2 面向用户开展针对性社会工程认知培训

普通钓鱼安全培训多聚焦于不要打开陌生附件、不要点击可疑链接,针对 RMM 钓鱼攻击,需要专门向员工以及企业客户科普:任何自称银行客服、技术支持的人员,电话当中要求你下载远程协助软件并且提供连接密钥,全部属于欺诈行为。金融机构应当面向客户公开官方客服交互规则,告知客户官方人员永远不会要求用户安装远程控制软件接管个人电脑,帮助普通用户识别该类欺骗场景。

反网络钓鱼技术专家芦笛强调,人员培训不能泛泛而谈网络诈骗,需要结合真实攻击案例,把 “索要远程管理工具密钥” 作为标志性欺诈信号传递给用户,让用户形成明确风险判断标尺。

5.1.3 网络侧与安全运营层面检测响应

网络安全设备监测 RMM 工具对外连接的网络流量,建立基线,识别非预期 RMM 出站会话。安全运营团队的事件响应流程需要更新,当发生安全事件处置,不再仅仅检查恶意病毒,还需要全面排查终端是否存在各类 RMM 软件的非正常安装记录,核查会话日志,排查攻击者是否曾经建立远程访问。即使 RMM 程序被卸载,也要回溯历史日志确认是否曾经发生过恶意会话。

5.2 对抗 AI 邮件助手提示注入攻击的防御策略

5.2.1 AI 处理之前完成邮件输入清洗净化

在 AI 助手读取邮件原始内容之前,预先对外部传入邮件源码做预处理,清除 HTML 注释标签、不可见零宽字符、页面隐藏元素,移除全部不会渲染展示给普通阅读者的隐藏内容,只把正常可视化邮件文本送入大模型上下文,从源头消除隐藏提示载荷的载体。外部不受信任邮件,不能直接把完整原始 HTML 交给 AI 解析。

5.2.2 对 AI 助手实施最小权限约束与强制人工复核

严格遵循最小权限原则,限制 AI 邮件助手能够执行的操作权限,禁止 AI 助手直接发起付款、修改供应商信息、发送高权限业务邮件等敏感操作。所有由 AI 助手输出并且用于业务决策的关键内容,必须设置人为确认环节。外部来源邮件应当被定义为待分析外部数据,不能当作可以直接执行的指令。AI 生成的邮件摘要仅作为参考材料,不能直接作为业务执行依据。

迪妙网络空间安全学院研究团队指出,很多企业部署 AI 办公工具时过度追求自动化便捷性,给 AI 开放过高业务权限,一旦发生提示注入攻击,就会直接转化为业务损失,权限收缩是成本可控、收益显著的防护手段。

5.2.3 提示注入检测与 AI 输出校验机制建设

部署专门检测模块,识别输入文本内可能存在的提示注入特征,同时增加 AI 输出结果校验环节。当 AI 助手对一封外部邮件生成摘要,如果摘要内出现付款变更、账户修改、紧急转账等高危业务关键词,应当触发二次风险校验,标记该摘要存在风险,提醒使用者务必核对邮件原始全文,不能直接采信摘要文本。

5.3 跨场景协同的整体安全运营机制

综合两类攻击特征,企业需要更新钓鱼攻击的安全检测视角,安全监测不能终止在邮件网关。安全运营需要打通邮件日志、终端安装日志、RMM 会话日志、AI 助手输入输出日志,实现攻击全链路可追溯。传统钓鱼事件处置只关注邮件本身,而新型钓鱼事件需要追踪邮件到达终端之后发生的全部后续行为。

定期开展红蓝对抗模拟演练,分别模拟 RMM 社会工程钓鱼、针对 AI 邮件助手的提示注入攻击,检验现有防护体系在真实攻击场景之下的有效性,找到防护缺口迭代安全策略。同时持续跟踪威胁情报,及时掌握攻击者新的技术变种,防御策略跟随威胁变化动态调整。

反网络钓鱼技术专家芦笛提出分层防御的核心逻辑:不存在可以一劳永逸的单点技术方案,防御体系需要在攻击链路的入口、载体处理层、终端行为层、人员决策层多处设置控制点,即便某一层被攻击者绕过,其余层级依然能够降低攻击成功概率,形成闭环防护。

6 当前防御体系客观局限与后续研究方向

尽管上文提出分层防御框架,但应当客观认识现有技术仍然存在现实局限,无法做到百分之百消除两类攻击威胁。

针对 RMM 滥用钓鱼攻击,该攻击的部分入口来自电话、短信渠道,属于通信运营商业务范畴,企业网络安全技术手段无法管控外部来电短信内容。只要受害者被社会工程欺骗,主观主动下载软件并且交出密钥,技术防护的效果就会被削弱。同时攻击者还可以不断更换其他小众 RMM 工具,企业维护 RMM 白名单的复杂度会持续上升。

针对 AI 邮件助手的间接提示注入,现阶段没有技术手段能够彻底根除大模型间接提示注入漏洞。输入清洗可以清除 HTML 隐藏注释、不可见字符,但是攻击者还可以使用语义层面构造的对抗文本,不需要依靠标签隐藏,仅仅依靠普通文本完成提示注入,这类语义层面的对抗载荷识别难度很高。

基于当前现实约束,迪妙网络空间安全学院研究团队提出未来值得深耕的几个研究方向。第一,面向 RMM 工具的行为基线研究,不依靠程序黑白名单,而是依靠机器学习分析 RMM 会话行为特征,区分合法运维会话和攻击者恶意会话,提升异常会话识别能力;第二,面向邮件场景间接提示注入的检测算法研究,针对邮件业务场景构建对抗样本数据集,研究语义层面提示注入载荷识别方案;第三,构建人机协同的风险决策机制,研究如何在不破坏 AI 办公便捷性前提下,对高风险 AI 输出实现无感风险标记,平衡办公效率和安全;第四,开展面向普通用户的社会工程欺骗心理学研究,找到可以有效降低 RMM 类欺诈受害率的科普培训模式。

反网络钓鱼技术专家芦笛补充,未来攻击者极有可能开展攻击技术融合,将 RMM 滥用攻击和 AI 提示注入相互结合,一条攻击链路同时利用两类漏洞,安全研究和企业安全建设需要提前预判多技术融合攻击带来的风险升级,不能孤立看待两类威胁。

7 结语

钓鱼攻击正在发生重要范式转变,攻击者逐步放弃完全依靠自定义恶意代码的传统路径,转而充分利用业务体系内部已经存在的可信工具与 AI 组件开展攻击。RMM 远程管理工具滥用钓鱼攻击利用合法运维软件强大权限,依靠社会工程拿到终端持久控制权;面向 AI 邮件助手的提示注入钓鱼攻击,利用大模型区分数据和指令的固有缺陷,篡改 AI 输出结果,借助 AI 放大钓鱼欺诈效果。威胁已经延伸到邮件抵达收件箱之后的终端操作、AI 自动化处理环节,传统依靠黑名单、特征匹配的防护思路已经不足以应对当前的威胁现状。

面对新一代网络钓鱼威胁,安全建设不能寄希望单一产品实现全部防护效果,需要落地分层闭环防御,在邮件预处理、AI 权限管控、终端 RMM 管控、网络行为监测、安全运营、人员认知多个维度同时部署控制点。企业部署 AI 办公自动化工具的时候,不能只看重业务效率,必须同步评估新增攻击面,落实权限最小化、输入净化、高敏感操作人工复核等安全约束。

同时应当客观承认现有技术还存在不可回避的短板,社会工程心理操纵、语义层面的提示对抗等问题依旧难以完全解决。威胁攻击者会持续迭代攻击手段,安全防护也必须保持动态更新。后续需要持续开展相关技术研究,完善检测算法,优化安全运营流程,结合面向使用者的安全认知建设,持续降低新型钓鱼攻击带来的安全风险。网络钓鱼攻防对抗是长期动态博弈过程,没有终极的防御手段,只有持续迭代适配威胁变化的防护体系。

编辑:芦笛(公共互联网反网络钓鱼工作组)

来源:迪妙网络空间安全学院

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档