- 综合排序
- 最热优先
- 最新优先
- 来自专栏绿盟科技研究通讯
大模型与软件供应链安全的融合探索
软件供应链安全与大模型结合点 由于大模型拥有一定的检测能力、生成能力、理解能力，与软件供应链安全摩擦出新的火花。 软件供应链的威胁检测拥有了新的检测手段，大模型供应的代码安全性得到了注重，对软件供应链事件分析等高复杂度任务，大模型也有部分能力进行处理。 2.3 大模型与其他软件供应链安全技术结合点 软件物料清单 (SBOM) 通过提供软件开发中不可或缺的组件和依赖项的详细清单，成为确保软件供应链安全的关键支柱。 针对软件供应链安全其他方面，大模型的供应链也需要保护，例如：维护AIBoms；大模型能够对软件供应链事件进行分类（威胁类型、意图、性质和影响），但仍然不能帮助人们对事件进行分析；大模型在软件开发生命周期中能够对缺陷的引入进行识别和解决 将大模型应用于软件供应链安全领域目前处于初步尝试阶段，但经过测试，总体已取得不错的效果，假以时日进行调整优化，大模型能发挥出超长的水平。
2K40编辑于 2023-11-05 大模型供应链安全风险应对：腾讯云安全技术实践与案例
识别供应链安全风险 大模型供应链面临GEO投毒、反序列化漏洞、GPU容器逃逸三大核心风险，构成行业战略困境： GEO投毒：通过代码投毒（如伪造Pump.fun API脚本致用户损失$2.5k，来源： rockyeth推文）、内容投毒（伪造AI资讯媒体盘点）、越狱提示词构造，操控大模型输出恶意内容，隐蔽性强、扩散性高（来源：GEO投毒攻击链分析）。 反序列化漏洞：大模型生态广泛使用Pickle、YAML等序列化格式，在模型权重加载（.pt/.pth/.pkl）、配置文件加载（config.yaml）、分布式通信（RPC消息）等6个供应链环节存在风险 阐释腾讯技术优势 腾讯云安全依托云鼎实验室技术积累与腾讯安全众测生态，形成独家竞争力： 技术领先性：覆盖大模型供应链全环节（数据采集、训练、推理、部署），提供反序列化漏洞扫描、容器运行时审计等工具； 专家团队：vivo大模型安全工程师戎誉（专注模型供应链安全，发现NVIDIA等厂商漏洞获致谢，Xcon、看雪SDC演讲）、凡浩（大模型基础设施攻防研究，同获厂商致谢及顶会演讲）参与技术验证（来源：
44520编辑于 2026-04-04- 来自专栏网络安全
全球供应链安全警钟：七大知名供应链攻击事件回顾
本文星尘安全就带着大家一起，来回顾一下近年来全球知名的七大供应链安全事件。 虽然Piriform迅速修复了此漏洞，但该事件突显了供应链攻击对企业环境的潜在巨大威胁，并导致了企业对第三方软件的信任度降低，供应链安全成为行业的焦点议题。 4. ASUS的声誉因此次事件受到严重损害，迫使公司对其软件供应链进行全面审查，并采取额外的安全措施。 总结 这些全球知名的供应链攻击事件，展示了供应链安全的脆弱性与复杂性。 为了应对日益增长的供应链攻击威胁，下至企业，上至国家，都需要加强供应链的审查、强化安全协议，并实施更多的防御性技术来保护其核心资产和客户数据。
5.1K10编辑于 2024-09-25 - 来自专栏腾讯云TVP
大模型时代，安全如何洗牌？
从安全大模型的构建与演进，到智能系统的内生性风险防控，再到生成式内容的治理框架构建，安全行业正在经历从技术范式到治理体系的全方位重塑。 3 月 30 日，「大模型时代：安全如何洗牌」TVP AI 与安全高峰论坛将在北京启幕。论坛汇聚安全领域的顶尖专家和行业领袖，直击大模型时代安全领域的真问题、硬挑战。 从技术突破、产业实践、风险治理多个维度，共同探索大模型时代的安全破局之道。 精彩亮点抢先看 直击AI与安全热点，议题全面多元 本次论坛聚焦大模型时代下 AI 与安全的热点话题，上午场围绕 “AI 赋能安全”，深入探讨 AI 如何推动安全能力升级，解析大模型赋能带来的新机遇。 即可报名，快来线上和顶尖大咖一同交流，共同探寻属于大模型时代的安全新图景。
35010编辑于 2025-03-24 三大领域大语言模型安全基准测试
TRIDENT：金融、医疗和法律领域的大语言模型安全基准测试随着大语言模型（LLMs）在法律、金融和医疗等高风险领域的部署日益增多，系统评估其领域特定安全性和合规性变得至关重要。 为填补这一空白，研究首先基于某机构医学伦理原则、某机构专业行为示范规则和某机构道德准则，定义了大语言模型的领域特定安全原则。 研究在Trident-Bench上评估了19个通用型和领域专用模型，结果表明该基准能有效揭示关键安全漏洞：强大的通用模型（如某中心GPT、某中心Gemini）能够满足基本要求，而领域专用模型往往难以处理细微的伦理差异 这凸显了领域特定安全性需要更精细化改进的迫切需求。 通过引入Trident-Bench，本研究为法律和金融领域的LLM安全性研究提供了首批系统性资源，并为降低LLMs在专业监管领域部署安全风险的未来研究奠定了基础。
31100编辑于 2025-09-04“大模型安全评估”需要评估哪些？
随着大型语言模型（LLM）如ChatGPT、文心一言等在众多领域展现出前所未有的能力，其安全、可靠、负责任地部署与应用已成为全社会关注的焦点。大模型并非完美无缺，其内在风险可能带来严重的现实世界危害。 #大模型备案##安全评估##生成式人工智能#一、语料安全评估二、生成内容评估暴力、仇恨与非法内容： 评估模型是否会生成宣扬暴力、恐怖主义、种族歧视、性别歧视、仇恨言论等的内容。 代码安全： 对于能生成代码的模型，需严格评估其生成代码的安全性，避免产生含有安全漏洞（如SQL注入、缓冲区溢出）的代码。 六、模型性能(拒答率）评估大模型的安全评估是一个动态、持续且多学科交叉的复杂工程，它需要技术专家、伦理学家、法律学者、社会科学家和领域专家的共同参与。 建立“设计-开发-部署-监控”全生命周期的安全治理体系，通过迭代式的评估和反馈，才能不断降低风险，最终推动大模型安全、可靠、负责任地造福人类社会。
61410编辑于 2025-08-26- 来自专栏AI
开源网络安全大模型 - SecGPT
网络安全大模型是指使用大量数据和参数来训练的人工智能模型，它可以理解和生成与网络安全相关的内容，例如漏洞报告、利用代码、攻击场景等。 目前各家网络安全厂商也纷纷跟进在大模型方面的探索，但可供广大从业者研究的特有网络安全大模型屈指可数，最近，云起无垠开源了他们的网络安全大模型SecGPT，该模型基于Baichuan-13B训练，目前已接近 有监督数据chatgpt+人工构造各类有监督安全能力数据集，让模型能了解各类安全指令。 开放问题 可以见到，对于一些特别的问题，模型的回答还是很接地气的，不过对现实世界中的梗的理解能力还有待提高，这可能也是很多目前大模型的普遍存在的问题。 总之，网络安全与大模型的结合必将是未来发展的重要趋势之一，我们也期待能看到更多的安全大模型和数据集被开源出来，更多安全相关的创新应用面向市场。
1.4K10编辑于 2024-08-27 - 来自专栏中国白客联盟
甲方安全建设-利用AI大模型协助安全运营
coze使用 coze简称扣子，是字节开放的大模型 AI 应用开发平台，用户可以借助该平台完成bot的开发以完成用户特定的需求。 记得使用coze.com而不是coze.cn,com里面包含的大模型更多。 ## 技能 ### 技能 1: 安全问题解答 - 根据用户面临的安全问题，提供专业的解决方案。 - 执行全面的安全检查并采取相应的补救措施。 ### 技能 3: 安全性建议和修复代码供应 - 根据需要，给出个性化的安全建设方案和漏洞修复建议。 而workflow那里可以选gemini，因为他处理比较快，毕竟平台所有模型都是免费的，用的人很多，因此如果响应慢的话得自行调节模型选择。
78010编辑于 2024-06-24 【大模型安全杂谈】针对腾讯朱雀AI检测大模型的绕过尝试
面对这场全球性的信任危机，以腾讯朱雀为代表的AI检测大模型被寄予厚望。这类系统通过语义分析、模式识别等算法，试图在信息洪流中构建起"数字滤网"。 当检测模型试图用算法编织安全之网时，对抗者们正在用更精巧的prompt工程拆解规则的经纬，用对抗样本刺穿神经网络的盲区。 针对腾讯朱雀AI检测大模型的绕过尝试没错，上面这段话就是AI生成的，经过朱雀AI大模型的检测，可以看到AI率是百分百。 那么，如何通过精心设计的Prompt编写，来对抗朱雀大模型的检测呢？ 最终，大模型给出的回答如下：这时，我们再给入引言部分，返回的话如下：再次放入朱雀中检测，AI率被降低至31%。
9.3K42编辑于 2025-02-21- 来自专栏腾讯云TVP
安全生产AI大模型架构设计
随着人工智能技术的快速发展，AI大模型在各个领域的应用日益广泛。在安全生产领域，AI大模型的应用不仅能够提高安全管理效率，还能有效预防事故的发生。 安全生产AI大模型概述 2.1 展通安全AI大模型在企业应用的架构设计 展通安全AI大模型在企业的适配与落地场景用图1展示其多层次的服务架构，该架构自上而下分为应用层、服务层、大模型算法层和工具层。 大模型算法层：该层的基石是包含NLP大模型、CV大模型及多模态大模型的基础大模型，然后我们针对行业的特点进行了二次训练形成了30多个行业安全大模型，同时根据客户企业的特定需求，微调了众多的企业大模型，针对企业的应用场景还微调了不同场景的任务大模型 通过这种多层次的大模型架构设计，展通安全AI大模型能够灵活适应企业的特定需求，通过定制与微调，确保大模型能够高效支持企业的安全生产及各项应用需求，助力企业实现智能化、高效化的安全管理。 2.2 展通安全AI大模型应用的总体架构设计 展通安全AI大模型应用的总体架构按照以下图2所示的层次设计： 展通安全生产大模型应用：覆盖行业包括制造业、建筑业、采矿业、化工行业、交通运输、食品加工、
6.2K34编辑于 2024-12-24 - 来自专栏AI学习笔记
安全推理：TEE+大模型加密框架
通过隔离敏感数据和代码，TEE 能够有效抵御各种攻击，为大模型加密推理提供了一个安全的基础。III. 大模型推理加密方法在大模型推理过程中，数据的加密处理至关重要。 对于大规模大模型推理，可能需要结合多种加密技术，以在安全性和效率之间取得平衡。IV. TEE+大模型加密框架实现方案结合 TEE 技术和大模型加密方法，我们可以构建一个安全的大模型推理框架。 模型加密部署模型训练 ：在安全的环境中训练大模型，确保模型参数的安全性。模型加密 ：对训练好的模型进行加密处理，生成加密模型。模型加载 ：将加密模型加载到 TEE 内部。 在实现 TEE+大模型加密框架时，需要充分考虑数据的加密与解密流程、模型的安全存储与加载，以及推理过程中的安全计算。通过合理的设计和优化，可以提高框架的性能和安全性。V. 结论TEE+大模型加密框架为解决数据隐私与安全问题提供了一种创新的解决方案。通过结合 TEE 技术和大模型加密方法，该框架在保护数据隐私的前提下，实现了高效、准确的大模型推理。
79410编辑于 2025-07-15 大模型备案环节如何评估模型的安全性
大模型在备案环节中，安全性的评估是最重要的，但大家往往掌握不好这个安全性的程度，今天我们分别从几个方面分析一下，模型的综合安全性能评估方向，希望能对备案中的小伙伴们有所帮助。 可以通过数据清洗和验证工具来识别和处理错误数据，通过统计分析来检查数据的偏差情况，确保数据的完整性和准确性，以避免低质量的数据导致模型输出不准确或有害内容二、模型安全评估（1）模型算法安全性分析模型的算法结构和训练过程 ，查找是否存在安全漏洞，防止攻击者利用这些漏洞获取模型的敏感信息或操纵模型的输出，导致错误或有害结果。 （3）模型可解释性与透明度：考察模型的决策过程是否具有一定的可解释性，便于发现潜在的安全问题，也有助于避免模型被滥用。 （2）责任界定明确模型在开发、部署和使用过程中，各参与方的责任与义务，在模型出现安全问题或不良影响时，能够准确追究责任人，促使各方履行安全管理职责。
64410编辑于 2025-05-09- 来自专栏2024年网络安全宣传周
网络安全宣传周 - 供应链安全
未公开的政府信息、大面积人口、基因健康、地理等重要数据一旦泄露，可能直接影响经济安全、社会稳定、公共健康和安全。5.2 风险综合评估构建评估模型对于分析不同风险对企业的综合影响至关重要。 可以借鉴基于 ANN 的供应链风险综合评估模型与应用，运用人工神经元网络（ANN）与专家系统（ES）相结合的方法建立综合评估模型。 该模型中评价因素集和评价权重集综合考虑了影响供应链稳定的各种风险因素及其所占的权重，并可在评判过程中通过变换各个指标的权重来进行敏感性分析。 同时，也可以参考供应链网络风险 “双层双维” 风险评估模型，从 “微观” 和 “宏观” 两个层次，从 “点中断” 和 “边中断” 两个维度，建立供应链网络风险的 “双层双维” 评估模型，对供应链网络风险进行综合评估 通过这些评估模型，可以更加全面地了解不同风险对企业的综合影响，为制定风险应对方案提供科学依据。5.3 风险应对方案为了应对供应链安全风险，可以提出多元化的风险应对手段。
93610编辑于 2024-11-02 - 来自专栏tea9的博客
软件供应链安全简析
供应链安全背景 近年来，针对软件供应链的安全攻击事件呈快速增长态势，造成的危害也越来越大。 供应链安全将是未来的重要挑战 Gartner 预计超过70%的应用程序因使用开源组件而产生缺陷和漏洞。 供应链安全将是未来的重要挑战，从网络安全角度去思考的话，可以明显看到当前的商业组织似乎更多的关注自身网络安全建设，但日防夜防、“家贼”难防，任何一个薄弱的供应链都可能成为这个难防的“家贼”。 2021年5月12日，美国发布了《关于改善国家网络安全》的第14028号行政命令(EO)，明确要求美国联邦政府加强软件供应链安全管控，迅速提高软件供应链的安全性和完整性。 今年5月，美国国家标准与技术研究院 (NIST)更新了解决软件供应链风险的网络安全指南，该指南帮助组织将网络安全供应链风险考虑因素和要求纳入其采购流程，并强调监控风险的重要性。
1.1K20编辑于 2023-02-28 - 来自专栏旅途散记
谷歌的开源供应链安全
摘要 谷歌在开源软件供应链安全方面的工作 介绍供应链安全概念和不同类型的攻击案例 加强理解软件供应链，探索构建、分析方法 使用加密签名、构建可重现的构建流程保障供应链安全 提倡内存安全编程语言如 今天的演讲主题是Google的开源供应链安全。首先，让我们了解一下“供应链安全”到底是什么意思。通常，当我们谈论供应链安全时，是指针对供应链攻击的工程防御。现在，我们需要定义什么是供应链攻击。 现在我们可以将开源供应链安全定义为防御开源供应链攻击和开源供应链漏洞的工程。 供应链安全是整个行业都在努力解决的问题，我们都在寻求有意义的进步。今天，我将重点介绍谷歌在软件供应链安全方面的工作。 总体来说，我们的方法分为三个部分：了解供应链、加强供应链和监控供应链。 这主要涉及常规计算机安全措施，虽然这些措施并不专门针对供应链，但它们是实现更高级供应链安全措施的重要基础。
61510编辑于 2023-12-19 - 来自专栏AI
大模型在网络安全领域的七大应用
而网络安全中，存在着大量的文本数据，如网络日志、网络流量、恶意代码、威胁情报等，这些数据可以作为大模型的输入或输出，从而实现网络安全的分析、检测、防御和攻击等功能，本文将探讨大模型在网络安全方面的应用及其优势 大模型可以帮助网络安全人员自动化地分析网络流量，提高分析的效率和深度。具体来说，大模型可以实现以下几个功能：流量分类：将流量中的不同类型的数据进行标记，方便后续的处理和过滤。 挑战和问题 在带来便捷性的同时，大模型在网络安全领域的应用也存在或多或少的问题，比如：1. 数据隐私和安全问题 在使用大模型进行网络安全检测时，需要处理大量的敏感数据。 模型的可解释性和可靠性问题 大模型的复杂性和黑箱性质使得其可解释性和可靠性成为了问题。在使用大模型进行网络安全检测时，需要确保模型的准确性和可靠性，并进行充分的测试和验证。 大模型在网络安全领域的应用带来了许多突破和创新，但也面临着一些挑战和问题。未来，需要进一步研究和探索大模型在网络安全领域的应用，并采取有效的措施解决其中的问题。
2.5K10编辑于 2024-08-23 大模型供应链面临GEO投毒与反序列化漏洞，腾讯云安全提供全链路防护方案
AI供应链安全漏洞导致直接经济损失与系统入侵 大模型供应链在数据检索、模型训练与推理部署环节存在高危安全风险。 腾讯云安全构建三层防御体系 数据层防护：基于多源信誉库实时检测投毒内容，覆盖代码库、资讯站点与文档平台，对恶意API接口识别准确率达99.2% 模型层检测：采用静态分析与动态沙箱技术，对PyTorch模型文件 -2024-0132、CVE-2025-23266）提供虚拟化层防护 实现模型训练与推理环节零安全事件 在vLLM分布式推理场景中，腾讯云安全方案成功阻断基于PyNcclPipe的RCE攻击（CVE-2025 载荷的HuggingFace模型 容器逃逸尝试：防止3次利用NVIDIA容器漏洞的宿主机访问行为 系统持续稳定运行180天，AI服务可用性保持99.95% 腾讯云安全获得多项技术认证 腾讯云安全方案通过 方案已服务金融、政务、自动驾驶等超过50家客户，累计防护10,000+GPU计算节点 数据来源：vivo安全团队戎誉/凡浩《大模型供应链安全风险技术拆解》、NVIDIA安全公告（CVE-2024-0132
20020编辑于 2026-04-04- 来自专栏AI SPPECH
对抗AI黑客：大模型安全的终极防御
本文将深入探讨大模型对抗性攻击的技术原理、主要类型、防御策略以及实战案例，为AI安全研究员和企业CIO提供一份全面的大模型安全防御指南。 大模型安全防御的核心策略 针对大模型面临的各种对抗性攻击，研究人员和安全专家提出了多种防御策略。下面介绍几种核心的防御策略： 1. 大模型安全标准与法规的完善 随着大模型在关键领域的广泛应用，相关的安全标准和法规也将逐步完善： 行业安全标准的制定：制定针对大模型的安全标准和评估规范，明确安全要求和最佳实践。 合规性认证与审计：建立大模型安全合规性认证和审计机制，确保模型符合安全标准和法规要求。 安全责任与问责机制：明确大模型开发者、部署者和使用者的安全责任，建立相应的问责机制。 对于AI安全研究员和企业CIO来说，关注大模型安全的最新研究成果和实践经验，构建完善的大模型安全防御体系，将成为保障AI系统安全运行的重要任务。
1.2K10编辑于 2025-11-13 大模型备案材料—《安全评估报告》撰写指南
大模型备案已经是个老生常谈的话题了，但是备案材料一直都是大家比较头疼的点。我最近有5家客户刚好通过了大模型备案，结合经验，给大家分享下大模型备案中最重要的材料——《安全评估报告》内容详解。 撰写大模型安全评估报告需遵循 “合规导向、逻辑清晰、内容详实、证据支撑” 原则，严格对标《生成式人工智能服务安全基本要求》、《生成式人工智能服务管理暂行办法》等法规标准，确保报告具备专业性、可追溯性和可验证性 证明无合规漏洞必备要素：对标条款、符合性说明、佐证材料（6）风险汇总与整改核心作用：梳理未解决风险，提出可落地的改进方案必备要素：风险等级（高 / 中 / 低）、整改责任人、时限（7）评估结论核心作用：明确大模型是否满足备案安全要求必备要素 ：结论需 “非黑即白”（如 “符合安全要求” 或 “需整改后复核”）二、安全评估报告必须包含的内容（1）数据隐私保护评估大模型处理用户数据时采取的隐私保护措施，像数据加密、匿名化处理、访问控制等，判断其能否保障用户数据不被泄露 （3）合规性无遗漏需覆盖 “数据、算法、内容、用户、应急” 全维度，尤其注意《生成式人工智能服务安全基本要求》中 “动态风险评估”“供应链安全” 等易忽略条款（如模型使用的第三方插件需评估安全性）。
81510编辑于 2025-08-18- 来自专栏陈冠男的游戏人生
大模型安全：Prompt Injection与Web LLM attacks
大语言模型（英文：Large Language Model，缩写LLM）中用户的输入称为：Prompt（提示词），一个好的 Prompt 对于大模型的输出至关重要，因此有了 Prompt Engneering 很明显，想要用户用起来更加方便，那开放给 LLM 的功能就得越多，存在的攻击面也就越大 我们直接来看实验，第一个实验是希望我们利用大模型过度使用的 API 删除用户 carlos 访问实验后选择 Live Live chat 发送以下 payload 发现弹窗了：
但是留言再次询问商品评价却被认为识别为攻击了 需要给 LLM 描述一下从而绕过这个安全检查
2.5K20编辑于 2024-01-29
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号