- 综合排序
- 最热优先
- 最新优先
中国金融生成式AI多模态内容鉴伪与安全防御白皮书(2025)
第一章：报告基础信息 • 报告标题：中国金融生成式AI多模态内容鉴伪与安全防御白皮书(2025) • 发布机构：中国工商银行金融科技研究院、腾讯云计算（北京）有限责任公司、北京金融科技产业联盟 • 发布时间 ：2025年 • 行业标签：泛金融,商业银行 • 产品标签：#AIGC鉴伪, #多模态交叉分析, #动态风控策略引擎, #AI内容安全质检, #风险知识图谱, #多模态样本库 第二章：报告背景和目标 随着生成式 1.4 利用生成式AI的多模态内容伪造成金融安全新挑战 第二章 生成式AI多模态伪造的金融安全挑战详解 2.1 生成式AI多模态伪造攻击原理和场景 2.2 生成式AI多模态鉴伪的关键难点分析 2.3 现有鉴伪技术面临的主要困境分析 2.4 机构、监管与行业生态的现状和问题 第三章 生成式AI多模态内容安全防御体系 3.1 整体设计 3.2 能力解读 3.3 价值分析 第四章 行业最佳实践 4.1 金融领域最佳应用实践 第六章：为什么选择腾讯云 基于《中国金融生成式AI多模态内容鉴伪与安全防御白皮书(2025)》的实战案例与行业赋能表现，选择腾讯云的核心逻辑在于其突出的技术先进性与深厚的行业积淀： • 具备国际前沿的多模态鉴伪技术
18110编辑于 2026-04-10金融AI多模态伪造防御：腾讯端到端鉴伪体系实践与效果
undefined数据来源：腾讯CSIG云与智慧产业事业群2025.12.21分享，分享人：尚朋帅 腾讯金融云，CSIG云与智慧产业事业群 构建端到端多模态鉴伪防御体系 腾讯提供生成式AI多模态内容安全防御体系 ，覆盖事前-事中-事后全流程，含四大核心模块： 风险处置与运营分析：含风险监测与预警、诊断与定性、策略调整、抗风险能力沉淀； 鉴伪模型库：单模态深度鉴伪、跨模态一致性验证、行为序列分析模型； undefined具体实践： 内容安全审核：基于多模态AI模型+20年样本沉淀+策略调优平台，识别违法违规及AI生成内容，遵循《生成式人工智能服务管理暂行办法》《互联网信息服务深度合成管理规定》； 平衡体验与安全；事中多模态交叉鉴伪（文本+音视频）精准识别深伪；事后周均2次模型迭代持续优化； 远程信贷审核：应用AIGC鉴伪（视频换脸、语音合成）、内容智能质检（黄恐政合规）、多模态交叉校验（融合视频内容及音频语义 技术领先性与实践确定性 Why Tencent： 技术创新：首次将语义大模型LLM融合进人脸模型进行多模态训练，打破传统机械分类；基于20年样本沉淀+策略调优平台，具备跨模态关联分析能力（单模态深度鉴伪
17610编辑于 2026-04-02腾讯AI多模态鉴伪解决方案将攻击拦截率提升至97.74%
，伪造精度达像素级与语义级统一，形成多模态证据链攻击（如证件+人脸+语音协同伪造）。 第二章：腾讯构建动态免疫的多模态端到端防御体系 核心技术组件与创新突破： 多模态交叉验证引擎： 整合图像鉴伪、音频偏差检测、行为序列分析模型，实现时序一致性校验。 动态进化系统： 支持周均2次模型迭代，依赖自建多模态样本库与对抗训练平台。 远程信贷审核场景验证： 内容违规识别：自动拦截黄恐政等违规内容，审核效率提升40%。 伪造攻击识别率：多模态交叉校验对协同攻击识别率达99.2%。 20年样本库积累：覆盖千万级黑产攻击样本，支撑多模态对抗训练。 合规能力适配： 系统符合《生成式人工智能服务管理暂行办法》第十二条“深度合成内容标识”要求。
17910编辑于 2026-04-01- 来自专栏API
NFC护照识读鉴伪-小程序app端护照鉴伪
在此背景下，基于NFC+OCR+PKD验签的智能护照识读鉴伪方案应运而生，为金融、边检、酒店、政务等多个行业提供了一站式可信身份验证能力。
24510编辑于 2025-12-22 【探展WAIC】从“眼见为虚”到“AI识真”：如何用大模型筑造多模态鉴伪盾牌
作为WAIC展会现场的亮点之一，合合信息展出了其多项领先的AI鉴伪技术方案——从换脸识别到AIGC图像鉴定，再到票据文档篡改检测，展示了如何借助大模型能力构建多模态、可解释、鲁棒的鉴伪系统。 当前主流的AI鉴伪方法主要围绕图像的底层视觉特征、语义内容合理性以及多模态信息融合展开，从不同层次挖掘图像中的异常线索。2.1、基于视觉特征的鉴伪分析视觉特征分析是识别伪造图像的基础手段。 2.3、多维度交叉验证与融合随着伪造技术日趋复杂，单一检测手段已难以应对当前的鉴伪挑战。因此，现代检测方案普遍采用多模态、多模型融合的策略，以提升系统的鲁棒性与适应性。 合合信息的人脸鉴伪团队同样采用了类似策略，在其检测框架中融合多模态输入与多模型路径，聚焦图像的不同特征维度进行交叉验证。 四、总结在2025 WAIC现场，可以看到生成式AI不仅释放了内容创作的潜力，也让“视觉真相”变得更加模糊。合合信息展示的多模态、大模型鉴伪解决方案，正是为应对这场“真假攻防战”而生。
74621编辑于 2025-08-11- 来自专栏用户画像
多模态短视频内容标签技术及应用
本文主要给大家介绍多模态短视频内容标签技术及在爱奇艺的相关应用。 全文共分为五个部分重点解读： 一、什么是内容标签 二、提取内容标签的方法 三、多模态短视频内容标签的难点 四、模型的迭代之路 五、内容标签的主要应用场景 一、什么是内容标签： 提到标签，推荐系统里面使用比较广泛的是内容标签和类型标签 ，其中内容标签是对文本、图文或者短视频等内容的表征（表征，就是用一些关键词或者是短语来表达对应的内容是什么含义）。 内容标签是根据内容来生成的标签，也就是说有什么样的内容它就会有什么样的标签，标签的集合是开放的。 它更突出了推荐的应用场景，虽然内容标签的应用也不仅限于在推荐场景下，可以针对任何基于内容理解的场景内容，因为内容是一个广泛的含义，包括文本、图文、短视频等等。
1.9K30发布于 2020-03-28 - 来自专栏AI人工智能
内容创作智能体：多模态内容生成的完整解决方案
摘要大家好，我是摘星，一名专注于AI内容创作和多模态技术领域的技术博客创作者。 在过去的几年里，我见证了人工智能在内容创作领域的飞速发展，从最初的文本生成到如今的多模态内容创作，这个领域正在经历一场前所未有的技术革命。当前，多模态内容创作技术已经从实验室走向了商业应用的前沿。 然而，真正的挑战不仅仅在于单一模态的内容生成，而在于如何构建一个完整的、可控的、符合品牌调性的多模态内容创作智能体系统。 多模态内容生成技术深度解析1.1 技术架构总览多模态内容生成系统的核心在于统一的多模态表示学习和跨模态的内容生成能力。 通过本文的深入探讨，我们可以看到多模态内容创作智能体已经从概念走向了实际应用，但同时也面临着诸多挑战和机遇。从技术发展的角度来看，我认为未来几年将是多模态内容生成技术的关键发展期。
55310编辑于 2025-07-20 - 来自专栏腾讯技术工程官方号的专栏
内容 AI：建立统一的跨媒体多模态内容理解内核
PCG 信息流、TEG 数平广告推荐和 AI 平台部团队、WXG 看一看团队内容技术专家沟通，大家在处理内容理解任务时候，都有融合多模态特征进行内容理解需求，同时大家具有很好的技术能力和研发经验。 在内容理解领域，需要分析的模态有文本，图片，视频，语音对应的不同级别特征；其他辅助描述特征等。 当前多模态的技术落地和具体任务是强相关的。 新的内容业务团队没有足够的算法人员想要解决实际业务场景想要从初始级开始。 方案简述 通过对上诉论文的多模态网络结构分析，我们希望设计具有领域通用性、可扩展、可编程结构的多模态内容理解框架。 做到可编程的支持多类损失函数；各类梯度下降算法；多种集成学习技术；支持转化和对齐的多模态学习任务（如通过对抗性损失函数解耦表征，反向优化特征，分离出内容结构特征和内容语义特征）。 图 1:可扩展通用多模态内容理解框架图 图 2:框架在视频分类任务中尝试不同特征融合实验 意义价值： 通过合理的多模态内容理解框架设计，抽象多模态学习各个研究任务成为独立的系统模块，模块之间的交互符合软件工程模块化设计的思想
5.2K30发布于 2020-01-10 - 来自专栏腾讯开源的专栏
开源公告｜多模态内容理解算法框架Lichee开源
导语 Lichee是一个多模态内容理解算法框架项目，其中包含数据增强、预训练引擎、常见模型以及推理加速等模块。由腾讯看点内容算法研发中心研发。 并于2021年在腾讯看点、腾讯视频、内容管线、QQ等业务场景均有落地，并平均减少标注样本量40%+。经过多次实践迭代，可以大幅缩短信息流内容理解需求的研发周期提升人效。 此外，为QQ浏览器2021AI算法大赛-多模态视频相似度赛道提供baseline模型及代码。现将Lichee对外开源，为微服务开源社区贡献力量。 主要设计目标 1. 缩短信息流内容理解需求的研发周期 2.
1.1K20发布于 2021-10-26 - 来自专栏京东技术
多模态数字内容生成的技术探索与应用实践
Tech 多模态数字内容生成，泛指利用AI生成技术生成图像、视频、语音、文本、音乐等内容的合成技术。 自然语言处理领域的GPT-3和计算机视觉领域的Deepfake让多模态数字内容生成，成为AI领域最受关注的技术方向之一。 技术趋势四：多模态与知识联合建模 虽然单模态数字内容生成已取得了较大的成功。但人类很多时候是融合了听觉、视觉、文字、常识等多方面信息进行内容生成的。 （1）文本内容生成：多模态输入单模态输出 为了生成一篇卖点突出、内容丰富、带有画面感的商品文案，我们提出了一个基于商品要素的多模态商品信息自动摘要模型，其可以根据商品的文本描述、商品图片信息，自动生成商品营销短文 COLING 2020. （2）多模态内容生成：多模态输入多模态输出 传统的多模态摘要模型，往往仅使用目标文本作为监督信号，而忽视了图像信息，导致模态偏差问题，即模型会倾向于优化文本生成的质量，而忽视了图片的挑选过程
2.4K11发布于 2021-02-25 - 来自专栏DeepHub IMBA
Video-LLaMa:利用多模态增强对视频内容理解
在数字时代，视频已经成为一种主要的内容形式。但是理解和解释视频内容是一项复杂的任务，不仅需要视觉和听觉信号的整合，还需要处理上下文的时间序列的能力。 本文将重点介绍称为video - llama的多模态框架。Video-LLaMA旨在使LLM能够理解视频中的视觉和听觉内容。 它旨在捕捉视觉场景中的时间变化，提供对视频内容的动态理解。视频Q-former跟踪随时间的变化，以一种反映视频演变性质的方式解释视觉内容。 它集成了视听信号，确保模型完整地理解视频内容。Audio Q-former同时处理和解释视觉和听觉信息，增强对视频内容的整体理解。 由于使用的音频编码器(即ImageBind)已经跨多个模态对齐，所以只在视频/图像指令数据上训练AL分支，只是为了将ImageBind的输出连接到语言解码器。
1.4K20编辑于 2023-08-30 - 来自专栏我爱计算机视觉
EMNLP 2021-多模态Transformer真的多模态了吗？论多模态Transformer对跨模态的影响
Motivation 视觉语言BERT模型扩展了BERT架构，以生成多模态输入的跨模态上下文表示。当对一系列下游任务进行微调时，这些模型已被证明是非常有效的。 如果测试过程中，去除某个模态的信息，对最终结果影响很大，那这个模态在最终预测的时候就是有用的；否则这个模态就是没用的。 多模态模型在预测时使用由多模态输入触发的跨模态激活。 这是原始的多模态设置，因此，有效使用多模态信息的模型应该表现最好。 Object： 在这里，作者只删除与对齐的文本短语相对应的图像区域，该模型仍然可以使用周围的视觉上下文特征 。 测试的模型显示了vision-for-language，而不是language-for-vision的结果，这一事实可能是多模态任务的积累，因为一些下游多模态任务需要强烈的 vision-for-language ▊ 作者简介 研究领域：FightingCV公众号运营者，研究方向为多模态内容理解，专注于解决视觉模态和语言模态相结合的任务，促进Vision-Language模型的实地应用。
2.5K20发布于 2021-09-28 - 来自专栏DotNet NB && CloudNative
多模态RAG应用之实现文本检索视频内容
但现在很多平台或者应用有大量的视频，还有某些跟视频打交道的应用比如视频编辑器，视频自动化处理工具等，这些工具如果只有简单的文本搜索就远远不够用了，搜索体验肯定会大打折扣；由此引出我们今天的主题： 如何使用多模态 传统的语言模型在生成内容时往往依赖于自身的知识库，这可能导致生成结果缺乏实时性和准确性。 简单点就是说结合大模型和网络搜索的内容，整合后再返回给你，让你看到既新又准确的答案； 多模态RAG： 则是将RAG的理念扩展到多种数据模态中，包括文本、图片、音频、视频等。 这种技术使得AI不仅能处理文本数据，还能理解和处理图片、音频等这些更多模态的数据；其实说白了就是普通RAG只支持文本，多模态拓展到图片、音视频； 嵌入式模型：嵌入式模型（Embedding）是一种广泛应用于自然语言处理 0.4851664642889189 图片1&3的余弦相似度是:0.14224603129566593 对比结果准确，图片1&2摩托车的相似度远远大于1&3摩托车和猫的； 处理视频数据 这里重申本文目标：使用多模态
77310编辑于 2025-01-07 企业多模态内容管理：用Qwen3.5-Omni搭建智能内容理解平台
企业多模态内容管理：用Qwen3.5-Omni搭建智能内容理解平台背景今天阿里发布了Qwen3.5-Omni，215项测试超越Gemini-3.1Pro，成为目前全球最强的全模态大模型之一。 本文分享如何用Qwen3.5-Omni搭建企业级智能内容理解平台，包括：平台架构设计多模态内容处理流水线成本控制策略生产环境部署方案一、企业多模态内容处理的痛点传统企业内容管理，主要处理结构化数据（数据库表格 API调用成本Prometheus+Grafana质量评估评估内容理解质量规则引擎+抽样人工审核三、多模态内容处理流水线1.视频处理流水线展开代码语言：PythonAI代码解释fromdataclassesimportdataclassfromtypingimportList ¥{current_cost:.2f}，超过阈值¥{ALERT_THRESHOLD}")六、总结Qwen3.5-Omni为企业多模态内容管理提供了新的可能：成本可控：每百万tokens不到1元，大规模处理也负担得起能力全面 Qwen#阿里云#多模态#内容管理#企业AI#Python
20610编辑于 2026-03-312025 中国工商银行金融科技研究院等 中国金融生成式AI多模态内容鉴伪与安全防御白皮书(2025) 发布，提出体系化安全防御框架
•发布时间：2025年 •行业标签：泛金融 •产品标签：#生成式AI多模态内容鉴伪解决方案 #多模态安全能力平台 #AIGC鉴伪引擎 #动态风控策略引擎 #风险知识图谱 #多模态样本库与实验平台 1.4 利用生成式AI的多模态内容伪造成金融安全新挑战 第二章 生成式AI多模态伪造的金融安全挑战详解 2.1 生成式AI多模态伪造攻击原理和场景 2.2 生成式AI多模态鉴伪的关键难点分析 •核心分析模型：技术实践战略矩阵、生成式AI多模态伪造攻击原理和场景分析（技术层、场景层）、生成式AI多模态鉴伪五大难点模型、事前-事中-事后防御全链路困境分析模型、生成式AI多模态内容安全防御体系（端到端防御系统 核心能力包括鉴伪模型库（单模态深度鉴伪、跨模态一致性验证、行为序列分析等）、动态风控策略引擎（规则引擎、评分模型、决策树、上下文感知引擎）、风险知识图谱（多模态伪造内容关联图谱等）、闭环运营体系（监测- 第六章：为什么选择腾讯云 腾讯云基于对金融业务场景的深度理解，打造覆盖业务全流程的多模态内容鉴伪解决方案，集成AIGC鉴伪、内容安全质检、多模态交叉分析、动态风险识别与实时风险阻断等核心技术。
22810编辑于 2026-04-11- 来自专栏存内计算加速大模型
腾讯发表多模态综述，什么是多模态大模型
多模态大语言模型（MLLM）是近年来兴起的一个新的研究热点，它利用强大的大语言模型作为大脑来执行多模态任务。 在本文中，追踪多模态大模型最新热点，讨论多模态关键技术以及现有在情绪识别上的应用。 ，并且提供了现有主流的 26 个多模态大模型的简介，总结了提升多模态大模型性能的关键方法，多模态大模型脱胎于大模型的发展，传统的多模态模型面临着巨大的计算开销，而 LLMs 在大量训练后掌握了关于世界的 多模态大模型的整体架构可以被归类为如下图的五个部分，整个多模态大模型的训练可以被分为多模态理解与多模态生成两个步骤。 多模态理解包含多模态编码器，输入投影与大模型主干三个部分，而多模态生成则包含输出投影与多模态生成器两个部分，通常而言，在训练过程中，多模态的编码器、生成器与大模型的参数一般都固定不变，不用于训练，主要优化的重点将落在输入投影与输出投影之中
5.7K13编辑于 2024-05-14 agent多模态学习
二、多模态 Agent 的整体架构 一个完整的多模态 Agent 系统通常包含以下层次，其数据流如下： 用户多模态输入 → 多模态感知层 → 意图理解与规划层 → Agent 协作层 → 工具/环境交互层 四、多模态意图理解与任务规划 4.1 多模态意图识别 多模态意图识别旨在从用户的文本、图像、语音等多种输入中，准确判断其核心需求。 多模态分类模型：训练一个分类器，输入为多模态特征，输出为意图标签。 LLM 直接判断：利用 GPT-4V 等具备视觉能力的模型，直接分析多模态输入并输出意图。 七、多模态内容生成 7.1 文本生成 基于融合后的多模态上下文，LLM 可以生成更精准、丰富的文本回复。 7.3 音频生成与合成 结合文本转语音 (TTS) 技术，Agent 可以将生成的文本内容合成为自然流畅的语音，用于智能客服、有声读物等场景。
48710编辑于 2026-01-15报告基础信息
报告标题：中国金融生成式AI多模态内容鉴伪与安全防御白皮书(2025) 发布机构：中国工商银行金融科技研究院、腾讯云、腾讯云计算（北京）有限责任公司、北京金融科技产业联盟 发布时间：2025年 行业标签 ：泛金融,政务,技术服务 产品标签：#多模态内容鉴伪, #AI安全防御, #生成式AI风控, #金融级云服务 报告背景和目标 生成式AI多模态技术正推动金融业向“AI原生”时代演进，预计到2027年人工智能与重点领域融合普及率超 生成式AI多模态鉴伪的关键难点分析undefined2.3 现有鉴伪技术面临的主要困境分析undefined2.4 机构、监管与行业生态的现状和问题 第三章 生成式AI多模态内容安全防御体系undefined3.1 为什么选择腾讯云 腾讯云作为中国金融行业关键技术伙伴，其多模态内容安全防御方案具备以下优势： 技术先进性：集成自研跨模态一致性验证模型与AI生成内容鉴伪算法，对伪造图像防御成功率达99.56%，视频达 生态协同能力：主导参与制定《金融业多模态内容鉴伪技术规范》，推动行业标准建设与威胁情报联盟构建。
14510编辑于 2026-04-11- 来自专栏CSDN社区搬运
多模态COGMEN详解
在本文中，我们提出了基于 COntex- tualized Graph Neural Network的多模态情感识别COGMEN）系统，该系统利用了本地信息（即说话人之间的内/外依赖性）和全局信息（上下文 “iemocap_4” --modalities=“atv” 部署方式 下载我训练好模型，以及数据集，附件里有data，modelcheckpoint文件夹，分别替换代码中的文件夹即可，我对每个单独的模态都有训练
32410编辑于 2024-12-05 【多模态大模型】
多模态大模型的核心能力 多模态大模型通过融合视觉、听觉、文本等多维度数据实现综合理解与生成。典型应用包括： 图像到文本：识别图片内容并生成描述、广告文案或诗歌。 跨模态检索：根据文本搜索相关图像/视频，或反之。 代表模型如GPT-4V（视觉增强版）、通义千问多模态版、文心一言（ERNIE-ViLG）均支持此类任务。 多模态对齐：模型将图像特征与文本语义空间对齐，生成候选描述。 输出优化：通过强化学习调整生成文本的流畅性与吸引力。 硬件需求：多模态训练通常需要A100/H100级GPU支持混合精度计算。 部署建议 轻量化：使用蒸馏版模型（如TinyBLIP）降低推理成本。 缓存机制：对高频查询内容预生成结果以减少实时计算压力。 多模态大模型的应用需结合具体场景调整输入预处理与后处理逻辑，以达到最佳效果。
29710编辑于 2026-01-20
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号