- 综合排序
- 最热优先
- 最新优先
- 来自专栏腾讯云TVP
大模型时代，安全如何洗牌？
从安全大模型的构建与演进，到智能系统的内生性风险防控，再到生成式内容的治理框架构建，安全行业正在经历从技术范式到治理体系的全方位重塑。 3 月 30 日，「大模型时代：安全如何洗牌」TVP AI 与安全高峰论坛将在北京启幕。论坛汇聚安全领域的顶尖专家和行业领袖，直击大模型时代安全领域的真问题、硬挑战。 从技术突破、产业实践、风险治理多个维度，共同探索大模型时代的安全破局之道。 精彩亮点抢先看 直击AI与安全热点，议题全面多元 本次论坛聚焦大模型时代下 AI 与安全的热点话题，上午场围绕 “AI 赋能安全”，深入探讨 AI 如何推动安全能力升级，解析大模型赋能带来的新机遇。 即可报名，快来线上和顶尖大咖一同交流，共同探寻属于大模型时代的安全新图景。
35010编辑于 2025-03-24 三大领域大语言模型安全基准测试
TRIDENT：金融、医疗和法律领域的大语言模型安全基准测试随着大语言模型（LLMs）在法律、金融和医疗等高风险领域的部署日益增多，系统评估其领域特定安全性和合规性变得至关重要。 为填补这一空白，研究首先基于某机构医学伦理原则、某机构专业行为示范规则和某机构道德准则，定义了大语言模型的领域特定安全原则。 研究在Trident-Bench上评估了19个通用型和领域专用模型，结果表明该基准能有效揭示关键安全漏洞：强大的通用模型（如某中心GPT、某中心Gemini）能够满足基本要求，而领域专用模型往往难以处理细微的伦理差异 这凸显了领域特定安全性需要更精细化改进的迫切需求。 通过引入Trident-Bench，本研究为法律和金融领域的LLM安全性研究提供了首批系统性资源，并为降低LLMs在专业监管领域部署安全风险的未来研究奠定了基础。
31100编辑于 2025-09-04“大模型安全评估”需要评估哪些？
随着大型语言模型（LLM）如ChatGPT、文心一言等在众多领域展现出前所未有的能力，其安全、可靠、负责任地部署与应用已成为全社会关注的焦点。大模型并非完美无缺，其内在风险可能带来严重的现实世界危害。 #大模型备案##安全评估##生成式人工智能#一、语料安全评估二、生成内容评估暴力、仇恨与非法内容： 评估模型是否会生成宣扬暴力、恐怖主义、种族歧视、性别歧视、仇恨言论等的内容。 代码安全： 对于能生成代码的模型，需严格评估其生成代码的安全性，避免产生含有安全漏洞（如SQL注入、缓冲区溢出）的代码。 六、模型性能(拒答率）评估大模型的安全评估是一个动态、持续且多学科交叉的复杂工程，它需要技术专家、伦理学家、法律学者、社会科学家和领域专家的共同参与。 建立“设计-开发-部署-监控”全生命周期的安全治理体系，通过迭代式的评估和反馈，才能不断降低风险，最终推动大模型安全、可靠、负责任地造福人类社会。
61410编辑于 2025-08-26- 来自专栏AI
开源网络安全大模型 - SecGPT
网络安全大模型是指使用大量数据和参数来训练的人工智能模型，它可以理解和生成与网络安全相关的内容，例如漏洞报告、利用代码、攻击场景等。 目前各家网络安全厂商也纷纷跟进在大模型方面的探索，但可供广大从业者研究的特有网络安全大模型屈指可数，最近，云起无垠开源了他们的网络安全大模型SecGPT，该模型基于Baichuan-13B训练，目前已接近 有监督数据chatgpt+人工构造各类有监督安全能力数据集，让模型能了解各类安全指令。 开放问题 可以见到，对于一些特别的问题，模型的回答还是很接地气的，不过对现实世界中的梗的理解能力还有待提高，这可能也是很多目前大模型的普遍存在的问题。 总之，网络安全与大模型的结合必将是未来发展的重要趋势之一，我们也期待能看到更多的安全大模型和数据集被开源出来，更多安全相关的创新应用面向市场。
1.4K10编辑于 2024-08-27 - 来自专栏中国白客联盟
甲方安全建设-利用AI大模型协助安全运营
coze使用 coze简称扣子，是字节开放的大模型 AI 应用开发平台，用户可以借助该平台完成bot的开发以完成用户特定的需求。 记得使用coze.com而不是coze.cn,com里面包含的大模型更多。 ## 技能 ### 技能 1: 安全问题解答 - 根据用户面临的安全问题，提供专业的解决方案。 - 执行全面的安全检查并采取相应的补救措施。 ### 技能 3: 安全性建议和修复代码供应 - 根据需要，给出个性化的安全建设方案和漏洞修复建议。 而workflow那里可以选gemini，因为他处理比较快，毕竟平台所有模型都是免费的，用的人很多，因此如果响应慢的话得自行调节模型选择。
78010编辑于 2024-06-24 【大模型安全杂谈】针对腾讯朱雀AI检测大模型的绕过尝试
面对这场全球性的信任危机，以腾讯朱雀为代表的AI检测大模型被寄予厚望。这类系统通过语义分析、模式识别等算法，试图在信息洪流中构建起"数字滤网"。 当检测模型试图用算法编织安全之网时，对抗者们正在用更精巧的prompt工程拆解规则的经纬，用对抗样本刺穿神经网络的盲区。 针对腾讯朱雀AI检测大模型的绕过尝试没错，上面这段话就是AI生成的，经过朱雀AI大模型的检测，可以看到AI率是百分百。 那么，如何通过精心设计的Prompt编写，来对抗朱雀大模型的检测呢？ 最终，大模型给出的回答如下：这时，我们再给入引言部分，返回的话如下：再次放入朱雀中检测，AI率被降低至31%。
9.3K42编辑于 2025-02-21- 来自专栏腾讯云TVP
安全生产AI大模型架构设计
随着人工智能技术的快速发展，AI大模型在各个领域的应用日益广泛。在安全生产领域，AI大模型的应用不仅能够提高安全管理效率，还能有效预防事故的发生。 安全生产AI大模型概述 2.1 展通安全AI大模型在企业应用的架构设计 展通安全AI大模型在企业的适配与落地场景用图1展示其多层次的服务架构，该架构自上而下分为应用层、服务层、大模型算法层和工具层。 大模型算法层：该层的基石是包含NLP大模型、CV大模型及多模态大模型的基础大模型，然后我们针对行业的特点进行了二次训练形成了30多个行业安全大模型，同时根据客户企业的特定需求，微调了众多的企业大模型，针对企业的应用场景还微调了不同场景的任务大模型 通过这种多层次的大模型架构设计，展通安全AI大模型能够灵活适应企业的特定需求，通过定制与微调，确保大模型能够高效支持企业的安全生产及各项应用需求，助力企业实现智能化、高效化的安全管理。 2.2 展通安全AI大模型应用的总体架构设计 展通安全AI大模型应用的总体架构按照以下图2所示的层次设计： 展通安全生产大模型应用：覆盖行业包括制造业、建筑业、采矿业、化工行业、交通运输、食品加工、
6.2K34编辑于 2024-12-24 - 来自专栏AI学习笔记
安全推理：TEE+大模型加密框架
通过隔离敏感数据和代码，TEE 能够有效抵御各种攻击，为大模型加密推理提供了一个安全的基础。III. 大模型推理加密方法在大模型推理过程中，数据的加密处理至关重要。 对于大规模大模型推理，可能需要结合多种加密技术，以在安全性和效率之间取得平衡。IV. TEE+大模型加密框架实现方案结合 TEE 技术和大模型加密方法，我们可以构建一个安全的大模型推理框架。 模型加密部署模型训练 ：在安全的环境中训练大模型，确保模型参数的安全性。模型加密 ：对训练好的模型进行加密处理，生成加密模型。模型加载 ：将加密模型加载到 TEE 内部。 在实现 TEE+大模型加密框架时，需要充分考虑数据的加密与解密流程、模型的安全存储与加载，以及推理过程中的安全计算。通过合理的设计和优化，可以提高框架的性能和安全性。V. 结论TEE+大模型加密框架为解决数据隐私与安全问题提供了一种创新的解决方案。通过结合 TEE 技术和大模型加密方法，该框架在保护数据隐私的前提下，实现了高效、准确的大模型推理。
79410编辑于 2025-07-15 大模型备案环节如何评估模型的安全性
大模型在备案环节中，安全性的评估是最重要的，但大家往往掌握不好这个安全性的程度，今天我们分别从几个方面分析一下，模型的综合安全性能评估方向，希望能对备案中的小伙伴们有所帮助。 可以通过数据清洗和验证工具来识别和处理错误数据，通过统计分析来检查数据的偏差情况，确保数据的完整性和准确性，以避免低质量的数据导致模型输出不准确或有害内容二、模型安全评估（1）模型算法安全性分析模型的算法结构和训练过程 ，查找是否存在安全漏洞，防止攻击者利用这些漏洞获取模型的敏感信息或操纵模型的输出，导致错误或有害结果。 （3）模型可解释性与透明度：考察模型的决策过程是否具有一定的可解释性，便于发现潜在的安全问题，也有助于避免模型被滥用。 （2）责任界定明确模型在开发、部署和使用过程中，各参与方的责任与义务，在模型出现安全问题或不良影响时，能够准确追究责任人，促使各方履行安全管理职责。
64410编辑于 2025-05-09- 来自专栏AI
大模型在网络安全领域的七大应用
而网络安全中，存在着大量的文本数据，如网络日志、网络流量、恶意代码、威胁情报等，这些数据可以作为大模型的输入或输出，从而实现网络安全的分析、检测、防御和攻击等功能，本文将探讨大模型在网络安全方面的应用及其优势 大模型可以帮助网络安全人员自动化地分析网络流量，提高分析的效率和深度。具体来说，大模型可以实现以下几个功能：流量分类：将流量中的不同类型的数据进行标记，方便后续的处理和过滤。 挑战和问题 在带来便捷性的同时，大模型在网络安全领域的应用也存在或多或少的问题，比如：1. 数据隐私和安全问题 在使用大模型进行网络安全检测时，需要处理大量的敏感数据。 模型的可解释性和可靠性问题 大模型的复杂性和黑箱性质使得其可解释性和可靠性成为了问题。在使用大模型进行网络安全检测时，需要确保模型的准确性和可靠性，并进行充分的测试和验证。 大模型在网络安全领域的应用带来了许多突破和创新，但也面临着一些挑战和问题。未来，需要进一步研究和探索大模型在网络安全领域的应用，并采取有效的措施解决其中的问题。
2.5K10编辑于 2024-08-23 - 来自专栏AI SPPECH
对抗AI黑客：大模型安全的终极防御
本文将深入探讨大模型对抗性攻击的技术原理、主要类型、防御策略以及实战案例，为AI安全研究员和企业CIO提供一份全面的大模型安全防御指南。 大模型安全防御的核心策略 针对大模型面临的各种对抗性攻击，研究人员和安全专家提出了多种防御策略。下面介绍几种核心的防御策略： 1. 大模型安全标准与法规的完善 随着大模型在关键领域的广泛应用，相关的安全标准和法规也将逐步完善： 行业安全标准的制定：制定针对大模型的安全标准和评估规范，明确安全要求和最佳实践。 合规性认证与审计：建立大模型安全合规性认证和审计机制，确保模型符合安全标准和法规要求。 安全责任与问责机制：明确大模型开发者、部署者和使用者的安全责任，建立相应的问责机制。 对于AI安全研究员和企业CIO来说，关注大模型安全的最新研究成果和实践经验，构建完善的大模型安全防御体系，将成为保障AI系统安全运行的重要任务。
1.2K10编辑于 2025-11-13 - 来自专栏陈冠男的游戏人生
大模型安全：Prompt Injection与Web LLM attacks
大语言模型（英文：Large Language Model，缩写LLM）中用户的输入称为：Prompt（提示词），一个好的 Prompt 对于大模型的输出至关重要，因此有了 Prompt Engneering 很明显，想要用户用起来更加方便，那开放给 LLM 的功能就得越多，存在的攻击面也就越大 我们直接来看实验，第一个实验是希望我们利用大模型过度使用的 API 删除用户 carlos 访问实验后选择 Live Live chat 发送以下 payload 发现弹窗了：
但是留言再次询问商品评价却被认为识别为攻击了 需要给 LLM 描述一下从而绕过这个安全检查
2.5K20编辑于 2024-01-29 腾讯云大模型安全解决方案概要
一、 产品定位与核心亮点 腾讯云大模型安全解决方案 是一套专为AI时代设计的全生命周期端到端安全保障体系。 区别于传统安全产品，该方案深度融合了WAF技术与大模型安全引擎，并针对Agent（智能体）、RAG（检索增强生成）及向量数据库等新兴AI组件提供了专有的防御策略，旨在帮助企业在满足国内监管合规要求的前提下 功能框架 腾讯云构建了全链路、多维度的防护体系，覆盖模型选型、模型训练、推理部署、业务应用四大阶段： AI基础设施安全（AI-SPM）： 负责底层环境的资产测绘与漏洞管理，管理AI攻击面。 大模型数据安全： 聚焦数据流转与存储，提供分类分级、脱敏及溯源分析。 大模型应用安全（LLM-WAF）： 作为智能安全防护网关，实时检测并拦截输入/输出端的风险。 产品优势 双重检测引擎： 采用“WAF + 大模型安全引擎”架构，结合数据分级分类引擎（识别身份证、银行卡等）与混元内容安全大模型（识别政治、色情等违规内容），实现多层次过滤。
64710编辑于 2026-01-30大模型备案材料—《安全评估报告》撰写指南
大模型备案已经是个老生常谈的话题了，但是备案材料一直都是大家比较头疼的点。我最近有5家客户刚好通过了大模型备案，结合经验，给大家分享下大模型备案中最重要的材料——《安全评估报告》内容详解。 撰写大模型安全评估报告需遵循 “合规导向、逻辑清晰、内容详实、证据支撑” 原则，严格对标《生成式人工智能服务安全基本要求》、《生成式人工智能服务管理暂行办法》等法规标准，确保报告具备专业性、可追溯性和可验证性 证明无合规漏洞必备要素：对标条款、符合性说明、佐证材料（6）风险汇总与整改核心作用：梳理未解决风险，提出可落地的改进方案必备要素：风险等级（高 / 中 / 低）、整改责任人、时限（7）评估结论核心作用：明确大模型是否满足备案安全要求必备要素 ：结论需 “非黑即白”（如 “符合安全要求” 或 “需整改后复核”）二、安全评估报告必须包含的内容（1）数据隐私保护评估大模型处理用户数据时采取的隐私保护措施，像数据加密、匿名化处理、访问控制等，判断其能否保障用户数据不被泄露 （2）评估对象信息大模型基本信息：模型名称、版本号、训练框架、部署方式（公有云 / 私有部署）、服务场景（如内容生成、智能客服）核心参数：训练数据量、参数量、推理延迟、服务并发量（体现模型规模与应用场景匹配度
81510编辑于 2025-08-18- 来自专栏科技云报道
大模型的阴面：无法忽视的安全隐忧
安全有两个方面，一个是大模型带来的对人类伦理的思考，一个是大模型本身带来的隐私泄漏、数据安全等问题。 埃隆·马斯克应该可以说是对大模型发起质疑的企业家之一。 不少企业开始围绕大模型安全视角推出产品，掀起了一阵AI安全、数据安全等新兴安全领域的火热之风。 大模型的“阴面” 安全问题不容忽视 发展至今，大模型阴阳两面，泾渭分明。 最近一段时间，可以明显地看到网络安全行业正在迎头赶上这一挑战，大模型和数据安全新品不断亮相，旨在满足市场对于新兴技术的安全需求。 今年的网络安全博览会成为了各大厂商展示大模型安全解决方案的初舞台。 比如，奇安信推出了名为Q-GPT的安全机器人，还发布了针对大模型数据泄露隐患的“大模型卫士”； 绿盟科技在发布其安全大模型的同时，也推出了基于隐私计算的“数据保险箱”。 随着各大公司在大模型安全方面的持续投入和创新，预期这一市场将带动整个网络安全行业迈向新的高度。 结语 AI大模型的发展不仅带来了巨大的潜力，也伴随着重大的安全挑战。
1.2K10编辑于 2023-09-24 - 来自专栏大模型备案
大模型备案：为AI创新套上“安全缰绳”
现在打开手机APP，智能客服能立刻接住你的问题；写方案没思路，生成式大模型几分钟就能凑出初稿——这类技术早就钻进了我们的工作和生活里。技术越火，越要系好“安全绳”但能力越强，风险也越突出。 大模型备案制度就是在这种背景下落地的，不是要给技术创新泼冷水，而是用“备案即监管”的方式，划好合规的线，让发展和安全两头都不落。 企业要填的，无非是模型叫什么、用了什么技术框架、训练数据从哪来、做了哪些安全防护。 说到底，大模型备案不是给技术“戴紧箍”，而是为创新“打地基”。 只有让技术在合规的框架里放心跑，大模型才能真正帮上忙，既把AI的生产力释放出来，又守好数字时代的安全和公平——这才是大家想看到的AI发展模样。
16710编辑于 2025-12-05 - 来自专栏绿盟科技研究通讯
大模型内容安全：敢问路在何方？
03、NSFOCUS LSAS 由绿盟科技独立开发的大模型安全评估系统NSFOCUS LSAS（以下简称LSAS）从两方面对模型输出内容进行安全性、合规性检测： LSAS使用动态提示词对模型进行诱导输出 大模型安全性扫描报告（部分） LSAS输出内容安全性检测 绿盟科技针对不同LLM有不同的应用场景特性，在设计初期便使用了多种不同探针以使扫描器能够尽量覆盖更多的实际应用场景，检测LLM的输出内容安全性。 模型风险评估 在实际应用检测场景中，绿盟科技LSAS针对现在的多款开源大模型进行了扫描检测，其中包含多个有关输出内容安全性的检测。 其结果如下： 大模型输出安全性检测结果（自然语言类） 大模型输出安全性检测结果（中文探针） 大模型输出安全性检测结果（机器语言类） LSAS使用探针中测试用例的通过率作为模型的分数指标，分数在0到1的区间内 M01N Team, 《LLM强化防线：大模型敏感信息的泄露检测和风险评估》, 2023
1.6K10编辑于 2024-02-26 - 来自专栏AI SPPECH
大模型应对危机：安全事件响应AI策略
本文将深入探讨大模型在安全事件响应中的部署与优化策略，从技术原理到实战应用，为企业安全管理层提供一份全面的大模型安全事件响应指南。 大语言模型（LLM）的微调和优化 大语言模型是安全事件响应的核心，需要针对安全领域进行微调和优化： 领域知识注入：将安全领域的专业知识（如攻击技术、防御策略、漏洞信息等）注入大模型，提高其在安全领域的理解和分析能力 大模型分析层：部署经过安全领域微调的大模型，进行告警分诊、事件分析、攻击路径识别等任务。 响应决策层：基于大模型的分析结果，生成智能响应策略和处置流程。 代码演示：基于大模型的安全事件分析与响应自动化 下面提供一个基于大模型的安全事件分析与响应自动化示例代码，帮助企业安全管理层和安全分析师快速实现基本的大模型安全事件响应功能。 大模型与其他安全技术的融合 大模型将与其他安全技术深度融合，形成更强大的安全事件响应体系： 大模型与SIEM的融合：增强SIEM系统的分析和关联能力，提高告警的准确性和响应效率。
40710编辑于 2025-11-13 - 来自专栏AI动态
大模型引发新安全挑战 腾讯安全助力企业重建安全度量体系
“AI技术的飞速发展进一步提升了黑客攻击的效率，因为大模型具备高效内容生成的特点，会让黑客以更低的门槛和成本，发动更密集的攻击。”腾讯集团副总裁、腾讯安全总裁丁珂在2023腾讯全球数字生态大会上表示。 在丁珂看来，面对AI大模型引发的全新安全挑战，传统的安全工具、经验、策略将失去效力，企业亟需重建适应智能化时代的安全体系，打造更灵活、弹性、可扩展的数字安全免疫能力。 AI大模型时代安全攻防战升级一直以来，在安全领域，攻击方和防守方就存在天然的不对等关系。而AI大模型的广泛应用，更是开启了新一轮的攻防战。 因此，安全愈发成为最高决策的关键点和投入点，也应该作为企业进行战略投入的关键方向。“度量安全”是重建安全体系的首要前提面对AI大模型时代快速扩大的安全风险，企业传统的安全范式亟待重建。 腾讯安全“数字安全免疫力”模型框架，把复杂的安全体系抽象成了一个洋葱模型，围绕企业的数据和业务从内到外建立3个层次6大模块的安全体系。
70520编辑于 2023-09-11 腾讯发布大模型安全与伦理报告：以负责任AI引领大模型创新
在1月24日举办的腾讯科技向善创新节2024“大模型安全与伦理专题论坛”上，腾讯发布了大模型安全白皮书《大模型安全与伦理研究报告2024：以负责任AI引领大模型创新》，并邀请业界专家进行圆桌研讨。 此报告从大模型的发展趋势、面临的机遇与挑战出发，阐明了大模型的安全框架与实践方案，最后点明了大模型安全的未来发展趋势。 报告的叙述内容层次分明，详尽地给出了大模型安全与伦理的调研与分析，可以作为大模型安全领域研究的重要参考。 为此，我们围绕大模型生产研发流程设计了大模型安全框架，从全局视角剖析大模型生产应用全生命中后期存在的安全风险问题，为大模型的研发及应用提供安全指导，致力于构建安全、可靠、稳定、可信的大模型应用。 大模型安全框架把安全措施落实到具体的研发，训练，测试，部署发布环节是提升大模型安全的行业共识，通过对大模型安全进行多个角度的测评、安全验证分析，我们总结了以下几方面实践过程中的工作经验供行业同仁参考。
5.4K01编辑于 2024-01-29
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号