大家好,我是盟主~ 今天刷B站刷到这样一个视频,他用代码实现了摄像头实时换脸。
视频换脸和实时换脸看起来都在“处理视频”,但它们面对输入的方式完全不同。视频换脸通常是在素材已经完整存在以后再开始处理;实时换脸则不能等输入结束,因为摄像头画面本身还在不断产生。 实时换脸的结果则往往需要继续流向下一环节。如果只需要在网页中查看效果,浏览器持续显示结果就够了。如果要用于OBS、视频会议或直播软件,则还需要把持续变化的AI画面作为视频源继续输出。 例如LiveFaceSwapAI可以在浏览器中直接显示摄像头实时换脸结果;桌面端则可以通过LiveFaceSwapCamera将处理后的画面提供给兼容的视频软件。 完整链路更接近:物理摄像头→AI处理→实时结果→虚拟摄像头→OBS/视频通话软件两种工作流适合的场景也不同如果输入已经存在:已录好的视频;短视频素材;GIF;后期编辑内容;通常使用视频换脸更简单。 如果答案是“是”,那它面对的就是实时工作流。核心区别:完整输入vs持续输入视频换脸和实时换脸都在处理视觉内容,但处理时机不同。视频换脸:输入先完整存在,再开始处理。
以前的换脸,不管是FaceFusion还是Deep-Live在换脸时,都需要显卡实时重启驱动和替换照片,而这个AI实时换脸最近传疯了,我自己也试了一下,真的太牛了,随意拉动一张图片就可以实现实时换脸 【重要警示】 所有实时换脸工具仅可用于本人肖像、合规创意创作、虚拟直播娱乐;严禁伪造他人人脸用于诈骗、冒充、造谣、虚假取证,各国均有深度伪造相关法律追责,违规后果自负。 测试效果哈哈哈哈哈 打开网址可以支持本地部署,切换效果默认是动漫风格, 填写提示词和上传图片按钮 上传一张或者拖入实时照片要想替换为真人需要填写下面这个提示词 Replace my face and body expressions and head movements, realistic real human, natural lighting 打开 Enhance 增强开关,点击 Apply 生效,实时画面会直接变成参考图里的真人
最近在 YouTube 上刷到一个日本博主做实时换脸直播,吸引了不少流量。 你动一下,画面也跟着变;你换一个参考脸或风格,整个人的观感马上变了,延迟很低,粗估只有200ms左右。而且不仅能实时换脸,还可以实时变装和风格重绘。 实时换脸这件事,技术上正在从“能不能做”变成“怎么接入直播”。这和现在很火的 Seedance、Gemini Omni Flash 等视频生成模型不太一样。 直播换脸的难点在另一边:摄像头画面是一帧一帧进来的,模型也要一边看、一边改、一边把结果返回。它处理的不是一段已经准备好的视频,而是正在发生的画面。如果这条链路继续成熟,直播行业的变化会很大。 查了一下公开资料,这类效果背后很像 Decart 的 Lucy 2.1 这一类实时视频编辑模型。它们主打的就是实时视频编辑。 不知道其他家的模型效果能到什么程度了,回头也体验一下。
这项实时DeepFake换脸技术,是来自一家名叫fal.ai公司的camera ai项目。 而且因为只需要输入想要变脸名人的名字,以及在线实时、免费等特点,这款软件着实是吸引了不少网友们前来“打卡”。 这不,有网友就脑洞大开地让爱因斯坦玩起了量子玩具~ 不少网友在体验过后直呼“太疯狂了”: 一句话在线变身 正如我们刚才所述,fal.ai的这款软件在操作上可谓是极其简单——只需要输入人名。 依旧是光头版的: 除了真实名人之外,你也可以像使用大模型一样,在输入框里描述你想要的造型的prompt,例如: a picture of George Clooney, elegant, in a suit, 8k 乔治·克鲁尼的照片,优雅,穿着西装,8k。 虽然从网友们给出的demo效果中来看,几乎在实时性上都能做到非常好的同步,但我们在实际体验过程中却并非如此。
Deep Video Portrait 软件则尝试利用 GAN 改进视频处理能力,于是首个研究 deepfakes 的 YouTube 频道正式上线:这次产出的不再只是伪造色情片,包括政治名人或好莱坞大牌的 几个月之后,以色列研究人员又推出了换脸 GAN(FSGAN)。这套 AI 模型能够对即时视频中的人脸进行实时交换。 当年 8 月,TikTok 也开始在其视频平台上封禁 deepfakes。 谷歌姐妹公司 Jigsaw 则发布了“Assembler”。 Wombo AI 是从真实表演者的录制视频中学习知识,再将照片人物的脸与原始演唱者的表情匹配起来,由此完成视频制作。 这款程序能够在经过适当训练、或者接收到预训练 AI 模型之后,在实时视频中交换人脸。但要想获得这种实时换脸功能,用户得拥有一块能支持 3A 游戏大作的高端显卡。
做这个的原因是因为我们主要关注的是换脸,所以只需要获取脸部的特征,其他环境因素对换脸的影响并不大。 ? 在面部抓取的过程完成后,我们可以得到所有脸部图片。 在训练完模型后(损失值较低),可以使用以下命令对目标图进行换脸: ? 此处的例子是找的一个视频,所以我们可以先用下面的命令将一个视频以一个固定频率转化为图片: ? 然后执行转换人脸操作。 下面是两个换脸图(样本A 110张图片,样本B 70张图片,训练时间6小时): ? ? 嗯…效果不咋样… 建议大家可以增大样本量,并延长训练时间。 ? 转换人脸的过程 ? 这样最后我们用图片B获取到的脸,使用encoder抽取特征,再使用A的decoder还原,便会得到A的脸,B的表情。
2、案例效果接下来使用实时视频将爱因斯坦的脸移植到我的脸上~原图片如下:移植后效果如下:3、运行机制首先,我们获取输入图像(我们想要在自己的脸上看到的人的图像)并找到面部区域及其地标。
生成效果 风格合成 一共支持8种风格 视角合成 给定参考姿势图像ref pose,参考图像会生成相同的姿势,即生成给定视角的图像 属性插值 给定2个ref image,将2个图像的人脸按照一定比例融合 样例1 输入参考图像(一定要带脸) 2 输入提示词(不要输入中文,请输入英文) a man, suit 3 输入参考姿势图像(可选项) 输入的Pose姿势图像,可以调整生成图像的面部姿势(朝向) 4
AI 换脸实现 科普:我们人眼看到连续画面的帧数为 24 帧,大约 0.04 秒,低于 0.04 就会卡成 ppt。 换脸.py # @Software: PyCharm import requests import simplejson import json import base64 import argparse faces[0] rectangle = list0['face_rectangle'] # print(rectangle) return rectangle #number表示换脸的相似度 faces[0] rectangle = list0['face_rectangle'] # print(rectangle) return rectangle #number表示换脸的相似度 不过目前是实现了从宋祖儿---> 朴信惠换脸术, ---- 标题:python 实现 AI 换脸 作者:cuijianzhe 地址:https://solo.cjzshilong.cn/articles
这是船新“全栈”Deepfake软件,DeepFaceLab,已有超过14000颗星,还登上了GitHub热榜。 ? 它以一个软件的形式,把各类Deepfake功能都打包在了一起。 DeepFaceLab可以换脸,比如汤姆·克鲁斯2020“参选”美国总统的这个竞选广告: ? 其实是另一位演员来“扮演”汤姆·克鲁斯拍摄的。 但DeepFaceLab就可以让真实的汤姆·克鲁斯上镜,即使是正在跑步大幅晃动的脸,也可以完美贴合变换。 ? 效果也非常燃,你可以点开视频看看: DeepFaceLab可以换头,把普京大帝宣誓就职俄罗斯总统的视频,换成了俄罗斯政客、反普京阵容的桥头堡——阿列克谢·纳瓦利内。 ? 视频看起来毫无违和感。 ? 不过,要生成这样高质量的视频,还是需要配合AE等剪视频软件的。 传送门 https://github.com/iperov/DeepFaceLab — 完 —
这是船新“全栈”Deepfake软件,DeepFaceLab,已有超过14000颗星,还登上了GitHub热榜。 ? 它以一个软件的形式,把各类Deepfake功能都打包在了一起。 DeepFaceLab可以换脸,比如汤姆·克鲁斯2020“参选”美国总统的这个竞选广告: ? 其实是另一位演员来“扮演”汤姆·克鲁斯拍摄的。 但DeepFaceLab就可以让真实的汤姆·克鲁斯上镜,即使是正在跑步大幅晃动的脸,也可以完美贴合变换。 ? 效果也非常燃,你可以点开视频看看: DeepFaceLab可以换头,把普京大帝宣誓就职俄罗斯总统的视频,换成了俄罗斯政客、反普京阵容的桥头堡——阿列克谢·纳瓦利内。 ? 视频看起来毫无违和感。 ? 不过,要生成这样高质量的视频,还是需要配合AE等剪视频软件的。 传送门 https://github.com/iperov/DeepFaceLab — 完 —
ComfyUI 换脸工作流市面上存在着众多琳琅满目的软件,它们虽各具特色,却也存在诸多局限性。例如,一些软件换脸效果不稳定容易出现失真或模糊现象;部分则设置了较高的收费门槛;还有些软件生成速度过慢。 https://github.com/Gourieff/comfyui-reactor-node换脸工作流ComfyUI 换脸工作流能够处理图片、视频以及多人换脸任务,可以通过 Set Group Nodes 我一般先启用图片换脸任务查看效果,调整参数达到满意程度后再切换到视频换脸。图片换脸在图片换脸的工作流中,需要 2 个 Load Image 节点来分别上传原图和参考人脸图片。 视频换脸对于视频而言,其核心思路在于对视频中的每一帧都执行相同的换脸操作,并确保视频在换脸后保持连贯性和一致性。Load Video创建一个 Load Video 节点,上传视频并连接视频到图像处理。 例如,若设为25,输出的图像约 200 帧,生成的视频时长约为 8 秒。format:格式。
Deepfake 就是前一阵很火的换脸 App,从技术的角度而言,这是深度图像生成模型的一次非常成功的应用,这两年虽然涌现出了很多图像生成模型方面的论文,但大都是能算是 Demo,没有多少的实用价值,除非在特定领域 一、基本框架 我们先看看 Deepfake 到底是个何方神圣,其原理一句话可以概括:用监督学习训练一个神经网络将张三的扭曲处理过的脸还原成原始脸,并且期望这个网络具备将任意人脸还原成张三的脸的能力。 网络模型 Encoder: 64x64x3->8x8x512 x = input_ x = conv(128)(x) x = conv(256)(x) x = conv(512)(x) x = conv (Flatten()(x)) x = Dense(4 * 4 * 1024)(x) x = Reshape((4, 4, 1024))(x) x = upscale(512)(x) Decoder:8x8x512 人脸识别问题 由于第一个环节是对人脸做预处理,算法必须首先能识别出人脸,然后才能处理它,而 dlib 中的人脸检测算法,必须是「全脸」,如果脸的角度比较偏就无法识别,也就无法「换脸」。
最早之前,实现人脸互换是通过分别分析两者人脸的相似信息来实现换脸,也就是通过特征点匹配来提取一张脸中例如眉毛、眼睛等特征信息然后匹配到另一张人脸上。 关于更多自编码器的知识:理解深度学习:与神经网络相似的网络-自编码器(上) 网络构架 那么应该如何通过自编码器实现我们的换脸技术呢? _ConvLayer(512, 1024), # 8/2=4 Flatten(), nn.Linear(1024 * 4 * 4 总之,我们想实现换脸的操作,在整体结构不变的基础上,需要满足以下几点: 如上图,也就是类似于VGG的编码网络、还要可以打乱空间结构结构的全连接网络、以及可以快速且较好地上采样图像的Sub-Pixel网络 总结 总得来说,这个换脸技术是一个结构简单但是知识点丰富的一个小项目,其结构简单易于使用以及修改,并且可以生成不错的效果,但是因为其拥有较多的参数,其运行速度并不是很快(当然我们可以通过改变编码层和解码层结构加快训练生成的速度
AI 换脸又一次刷爆了朋友圈 最近云毕业正当时,各家科技公司顺势推出了自己的 AI 换脸技术,结果又被同学们玩坏了! 换脸这件事绝不能少了业界大佬们! ? 仔细来看,AI 换脸技术近些年还是成熟不少,整体的面部贴合度、细节处理都有了明显的提升。近日,Deepfake 领域再一次取得了重要突破。 局部融合更考验换脸的技术难度。为了验证算法性能,研究人员他们没有对人脸的眼部、唇部等局部器官进行了融合,效果也是非常惊人。 ? 同时它能够随着唇部抖动实时贴合,毫无跳脱感。而且研究人员证实,视频中的人脸交换一般比静态图像效果更好。 局部人脸交换在动态视频中的融合优势,这在电影场景中是非常必要的。 基于梳状模型的最新算法 那么这项 AI 换脸技术是如何实现的呢?我们先来看一组完整的换脸路径图: ?
在线实时换脸的便利是无需专用GPU,也不用安装模型或配置AI环境。打开浏览器,允许摄像头、选参考脸并启动AI处理,就能看到结果。 (还记得几年前根本没有在线换脸,在腾讯云上租GPU服务器搞deepcam实时换脸,一个月上千块效果还不好)完整流程有三个状态:摄像头输入就绪、AI处理启动、实时输出更新。 左侧有画面只说明输入成功;右侧结果持续跟随动作,才算实时换脸真正运行。三步完成第一次实时换脸下面以LiveFaceSwapAI浏览器换脸工作区为例,按电脑端Chrome界面说明。 想换成其他目标脸时,再上传清晰的单人正面照片;镜头前的人才是被换脸的对象。查看当前模型的积分费率,点击“开始换脸”。 右侧没有结果时怎么查现象优先检查左侧黑屏镜头遮挡、网站和系统摄像头权限,以及摄像头是否被会议软件占用左侧正常,右侧仍未开启是否已选参考图、完成登录并点击“开始换脸”一直显示“加载中”网络是否稳定,页面是否仍保持打开显示
项目介绍 DeepFaceLive是一款开源软件,它为用户提供了一种创建深度伪造(Deepfakes)视频的方式。实时直播和视频 AI 换脸程序。 该项目可以对摄像头和本地视频文件中的人物,进行实时 AI 换脸,可用于 PC 直播、视频等场景。 马斯克换脸 功能特点 1.深度伪造技术:DeepFaceLive使用深度学习算法来合成虚假的视频,使得用户能够将一个人的脸部特征应用到另一个人物的视频上。 2.实时处理:DeepFaceLive提供实时处理功能,使用户能够在拍摄或播放视频时直接应用深度伪造技术,即时观察结果。这种实时性能够提供更好的交互性和用户体验。 在使用DeepFaceLive软件时,请确保遵守法律和道德准则,不要用于欺骗、违法或侵犯他人隐私的目的。
thenextweb 编辑:肖琴 【新智元导读】“变脸”技术已经不新奇,来自德国慕尼黑工业大学、斯坦福大学等的一组研究人员最近开发了一个叫“HeadOn”的AI,它可以“变人”——根据输入人物的动作,实时地改变视频中人物的面部表情 ://niessnerlab.org/papers/2018/7headon/headon_preprint.pdf 来自德国慕尼黑工业大学、斯坦福大学等的一组研究人员最近开发了一个AI,它可以将你的实时的面部表情 HeadOn的视频演示: 研究人员在论文里将这个系统称为“首个人体肖像视频的实时的源到目标(source-to-target)重演方法,实现了躯干运动、头部运动、面部表情和视线注视的迁移”。 自动合成一个上半身模型 一种新的实时重现算法利用这个代理来真实地映射面部表情和眼睛注视,以及捕获的源参与者对目标参与者的头部动作和身体动作。 这个研究的贡献如下: 快速自动构建个性化的几何代理,嵌入参数化的人脸、眼睛、整个头部和上半身模型; 提出一种逼真的、基于视图的、与姿势相关的纹理和合成方法 对source actor的稳健的跟踪方法; 以及实时
3.3 实时换脸融合流水线 四、性能优化效果对比 4.1 延迟测试数据 4.2 实时性能验证 五、完整项目部署指南 5.1 环境配置 5.2 模型转换 5.3 实时演示应用 六、技术价值与应用前景 引言 、FaceShifter等复杂模型部署至昇腾硬件,实现毫秒级的高保真视频换脸与表情驱动。 以实时视频换脸为例,CANN优化后单帧处理延迟从200ms压缩至30ms以内,实现了真正意义上的“实时”交互。 pipeline = RealTimeFaceSwapPipeline(source_face) print("开始实时换脸演示,按'q'退出...") ,无需修改模型结构 该技术可广泛应用于: 直播电商:虚拟主播实时表情驱动、个性化形象定制 影视制作:实时预览换脸效果、降低后期制作成本 游戏娱乐:玩家面部表情实时映射到游戏角色 在线教育:AI教师个性化形象与表情互动