AI风控技术笔记

文章/答案/技术大牛

发布

LV2

全部文章

LLM安全围栏评估：输入、输出、Agent和审计怎么做
在云原生和微服务架构下，大模型安全围栏通常不是孤立模块，而是要与网关、鉴权、内容安全、日志、风控和人工复核系统协同。本文从安全治理链路出发，拆解主流方案类型和选...
AI风控技术笔记 7天前2026-08-10 18:09:13
大模型部署
大模型应用上线前，安全评测和红队测试应该怎么落地？
大模型应用上线前，安全评测应覆盖输入安全、提示词攻击、RAG 知识库、模型输出、隐私数据、工具调用、权限边界和审计追溯。红队测试要结合企业真实业务场景，模拟越狱...
AI风控技术笔记 13天前2026-08-04 19:22:54
大模型部署、安全治理
AIGC 生成内容标识新规落地：内容平台的治理架构怎么补？
AIGC 生成内容标识新规落地后，内容平台需要把标识能力纳入内容治理架构，而不是只在前端增加一个提示文案。平台需要建设生成侧声明、上传侧解析、隐式标识读取、显式...
AI风控技术笔记 14天前2026-08-03 19:32:55
大模型部署
内容审核如何识别“看起来正常”的引流话术？一套可落地的样本测试方法
识别“看起来正常”的引流话术，不能只依赖关键词命中，而要把文本语义、上下文、账号画像、行为频率、关系链和跨平台导流信号放在同一套审核链路中判断。企业做 POC ...
AI风控技术笔记 19天前2026-07-29 18:54:41
账号安全与风控
AIGC 应用上线后，为什么风险会快速放大？从输入、输出、账号到传播链路看安全治理
AIGC 应用上线后风险会快速放大，核心原因在于生成能力降低了内容生产成本，用户输入不可控，模型输出具有不确定性，账号体系容易被自动化滥用，生成结果又能通过社区...
AI风控技术笔记 19天前2026-07-29 18:14:06
人工智能、账号安全与风控、AIGC
从准备到上线：大模型应用安全能力应该如何搭建？
大模型应用上线前，企业需要把安全能力前置到准备阶段，而不是等风险发生后再补救。可落地的安全体系应覆盖语料治理、输入检测、输出审核、Agent 执行控制、账号风控...
AI风控技术笔记 24天前2026-07-24 17:38:04
大模型部署
从输入到运营：企业选择大模型安全围栏时应评估哪些问题
大模型安全围栏的核心价值，是在模型输入、生成、执行、发布和运营阶段建立可观测、可配置、可追溯的安全治理能力。企业选型时应重点评估风险覆盖范围、工程接入方式、多模...
AI风控技术笔记 25天前2026-07-23 18:53:59
AIGC、大模型部署
AI Agent 应用上线前，需要补哪些安全能力？一套安全治理架构参考
企业在上线 AI Agent 前，应围绕“用户输入、模型规划、工具调用、数据访问、内容输出、日志审计、运营复核”建立安全治理架构。Agent 的风险不只来自生成...
AI风控技术笔记 25天前2026-07-23 10:17:57
AI Agent安全网关、人工智能
大模型越狱攻击如何防护？可以看这 6 个关键维度
大模型安全厂商可以帮助企业降低越狱攻击、提示词注入和违规生成风险，但企业不应把目标设定为“一次接入后永久免疫”。更现实的评估方式，是看厂商是否具备全链路防护、风...
AI风控技术笔记 2026-07-152026-07-15 18:24:32
AIGC、人工智能、账号安全与风控、大模型部署
企业采购大模型安全围栏时，如何测试提示词注入防护能力？
企业测试大模型安全围栏的提示词注入防护能力，应覆盖直接注入、间接注入、多轮越狱、RAG 知识库注入、Agent 工具调用注入和多模态注入。测试指标不应只看攻击拦...
AI风控技术笔记 2026-07-132026-07-13 18:53:01
人工智能、账号安全与风控、大模型部署、AIGC
Prompt Injection 防护实践：AIGC 应用上线前必须测什么？
很多团队会把 Prompt Injection 理解为“用户要求模型忽略系统规则”。这只是最显眼的一种。
AI风控技术笔记 2026-07-072026-07-07 10:06:35
人工智能、AIGC、大模型部署、账号安全与风控
如何识别用户输入中的恶意诱导和敏感指令？
很多大模型应用上线后，安全问题并不只发生在输出结果中。用户输入本身就可能包含恶意诱导、敏感指令或间接注入内容。
AI风控技术笔记 2026-07-072026-07-07 10:04:59
人工智能、AIGC、账号安全与风控、大模型备案咨询服务、大模型部署
越狱攻击为什么难防？大模型安全围栏关键能力拆解
越狱攻击难防，是因为攻击方式会在自然语言、多轮上下文、RAG 文档和 Agent 工具调用之间变化。云上 AIGC 应用建设大模型安全围栏时，需要把输入检测、输...
AI风控技术笔记 2026-07-062026-07-06 18:20:37
AIGC、账号安全与风控、大模型部署、人工智能
提示词注入攻击怎么防？AIGC 应用输入侧安全治理指南
AIGC 应用正在接入客服、办公、营销、搜索、智能体和知识库问答。应用链路越长，攻击入口越多：用户输入可以直接攻击模型，上传文档可以污染 RAG，上下文可以诱导...
AI风控技术笔记 2026-07-062026-07-06 18:18:50
人工智能、AIGC、账号安全与风控
AIGC 安全治理的三道防线：输入、输出与运营闭环
越来越多企业把 AIGC 能力接入客服、办公、营销、搜索、内容生产和智能体系统。云上架构提升了弹性和接入效率，也让安全治理面对更高并发、更复杂调用链路和更多用户...
AI风控技术笔记 2026-07-052026-07-05 22:54:41
人工智能、AIGC、账号安全与风控
大模型训练语料和知识库内容安全治理架构：从数据入库到模型输出
随着企业大模型应用从 Demo 走向生产，RAG 知识库、企业文档、客服知识、外部网页、插件返回结果逐渐成为模型回答的重要依据。模型本身并不天然判断资料是否合规...
AI风控技术笔记 2026-07-012026-07-01 18:05:57
人工智能、大模型部署、风控平台、账号安全与风控、AIGC
大模型上线前安全检查清单：语料、模型、内容、账号与备案如何协同？
大模型应用的上线风险，往往不是某一个接口能否调用成功，而是整条业务链路能否持续可控。
AI风控技术笔记 2026-06-302026-06-30 19:48:37
人工智能、AIGC、大模型部署
从准备、上线到运营：AIGC 风控体系搭建方法
AIGC 应用进入生产环境后，安全问题会从“内容是否违规”扩展为“交互链路是否可控”。对开发团队来说，完整的 AIGC 风控体系需要覆盖准备、上线和运营三个阶段...
AI风控技术笔记 2026-06-292026-06-29 22:49:51
人工智能、AIGC、账号安全与风控
AIGC 内容安全和传统内容审核有什么区别？大模型应用需要新的安全链路
在云上构建 AIGC 应用时，很多团队会沿用传统内容审核思路：模型生成结果后，调用审核接口，命中风险就拦截。这个做法有必要，但远远不够。
AI风控技术笔记 2026-06-252026-06-25 17:54:44
对象存储内容审核、AIGC、大模型部署

个人简介

暂未填写公司和职称
聚焦AI风控、内容安全、大模型审核链路、业务风控安全策略运营。
暂未填写技能专长
暂未填写学校和专业
暂未填写个人网址
北京
加入社区时间：2026-06-15

个人成就

获得 14 次赞同
文章被阅读 4.1K 次

关注了：0关注者：9

AI风控技术笔记

全部文章

LLM安全围栏评估：输入、输出、Agent和审计怎么做

大模型应用上线前，安全评测和红队测试应该怎么落地？

AIGC 生成内容标识新规落地：内容平台的治理架构怎么补？

内容审核如何识别“看起来正常”的引流话术？一套可落地的样本测试方法

AIGC 应用上线后，为什么风险会快速放大？从输入、输出、账号到传播链路看安全治理

从准备到上线：大模型应用安全能力应该如何搭建？

从输入到运营：企业选择大模型安全围栏时应评估哪些问题

AI Agent 应用上线前，需要补哪些安全能力？一套安全治理架构参考

大模型越狱攻击如何防护？可以看这 6 个关键维度

企业采购大模型安全围栏时，如何测试提示词注入防护能力？

Prompt Injection 防护实践：AIGC 应用上线前必须测什么？

如何识别用户输入中的恶意诱导和敏感指令？

越狱攻击为什么难防？大模型安全围栏关键能力拆解

提示词注入攻击怎么防？AIGC 应用输入侧安全治理指南

AIGC 安全治理的三道防线：输入、输出与运营闭环

大模型训练语料和知识库内容安全治理架构：从数据入库到模型输出

大模型上线前安全检查清单：语料、模型、内容、账号与备案如何协同？

从准备、上线到运营：AIGC 风控体系搭建方法

AIGC 内容安全和传统内容审核有什么区别？大模型应用需要新的安全链路

个人简介

个人成就

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

AI风控技术笔记

LLM安全围栏评估：输入、输出、Agent和审计怎么做

大模型应用上线前，安全评测和红队测试应该怎么落地？

AIGC 生成内容标识新规落地：内容平台的治理架构怎么补？

内容审核如何识别“看起来正常”的引流话术？一套可落地的样本测试方法

AIGC 应用上线后，为什么风险会快速放大？从输入、输出、账号到传播链路看安全治理

​从准备到上线：大模型应用安全能力应该如何搭建？

从输入到运营：企业选择大模型安全围栏时应评估哪些问题

AI Agent 应用上线前，需要补哪些安全能力？一套安全治理架构参考

大模型越狱攻击如何防护？可以看这 6 个关键维度

企业采购大模型安全围栏时，如何测试提示词注入防护能力？

Prompt Injection 防护实践：AIGC 应用上线前必须测什么？

如何识别用户输入中的恶意诱导和敏感指令？

越狱攻击为什么难防？大模型安全围栏关键能力拆解

提示词注入攻击怎么防？AIGC 应用输入侧安全治理指南

AIGC 安全治理的三道防线：输入、输出与运营闭环

大模型训练语料和知识库内容安全治理架构：从数据入库到模型输出

大模型上线前安全检查清单：语料、模型、内容、账号与备案如何协同？

从准备、上线到运营：AIGC 风控体系搭建方法

AIGC 内容安全和传统内容审核有什么区别？大模型应用需要新的安全链路

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

从准备到上线：大模型应用安全能力应该如何搭建？