简单来说,3D高斯泼溅将三维场景表示为一组具有不同位置、大小和方向的高斯分布,每个高斯分布都可以看作是一个微小的“泼溅”元素,通过对这些高斯元素的组合和渲染,来构建出整个三维场景。 3D高斯泼溅在渲染时可以通过调整高斯分布的参数,灵活地控制渲染的精度和细节程度,根据不同的应用需求,在计算效率和渲染质量之间找到最佳平衡。3D高斯泼溅在实时渲染方面展现出了卓越的性能。 3D高斯泼溅通过对高斯分布参数的精细调节,能够实现对场景细节的灵活控制。 这种根据不同场景需求进行动态调整的能力,使得3D高斯泼溅在保证实时渲染的前提下,能够兼顾渲染质量和细节表现,为用户提供更加优质的视觉体验。3D高斯泼溅在内存管理和数据存储方面也具有明显的优势。 3D高斯泼溅作为一种新兴的技术,正处于快速发展和完善的阶段。随着研究的深入和技术的不断创新,3D高斯泼溅有望在渲染质量、细节表现等方面进一步提升,逐渐缩小与NeRF在这些方面的差距。
此外,我们还探索了如何利用增量构建的高斯地图提升里程计的鲁棒性:通过将来自高斯地图的光度约束紧密融合进连续时间因子图优化中,在激光雷达性能退化场景下实现更优的位姿估计。 该系统可以在实时条件下,稳定而精确地估计位姿,并构建真实感和几何精确度俱佳的三维高斯地图。 此外还扩展了该系统,使得构建好的高斯地图可用于下游任务,例如视频帧插值与快速三维网格生成。 图 1:系统输出结果概览(从左到右、从上到下排列):(1) 由三维高斯组成的重建地图,(2) 从新视角渲染的 RGB 图像,(3) 稀疏的激光雷达点云地图,(4) 从新视角渲染的深度图,(5) 从高斯地图提取的三维网格 应用二 - 快速三维网格提取:从实时重建的高斯地图中生成的法线着色网格。 总结 本文提出了一种新颖的 激光雷达-惯性-相机高斯投影 SLAM 系统,该系统能够兼顾视觉质量、几何精度与实时性能。
二 高斯泼溅的技术定位在上述背景下,高斯泼溅(3D Gaussian Splatting)逐渐进入景区数字化建设的技术视野。 作为一种基于优化点云的三维重建与渲染方法,高斯泼溅不依赖复杂的网格拓扑结构,而是通过大量可学习的高斯椭球对空间进行表达。 在数峦云的实践中,高斯泼溅在效率与视觉真实性之间取得了相对平衡,为实景三维数据的规模化应用提供了新的技术路径。 四 景区场景下高斯泼溅释放哪些价值1 景区精细化管理基于高斯泼溅构建的实景三维空间,有助于提升对复杂区域的整体认知能力。 高斯泼溅作为空间底座的一种技术选择,为这种协同提供了更现实的落地基础。
云舟各产品线完全融合3D高斯泼溅技术从科幻电影到现实应用的技术突破还记得《少数派报告》中汤姆·克鲁斯挥手操控三维场景的经典画面吗? 3D高斯泼溅:让数字世界“活”起来的魔法什么是3D高斯泼溅简单来说,3D高斯泼溅(3D Gaussian Splatting)是一种革命性的三维重建技术。 如果把传统的三维建模比作用积木搭房子,那么3D高斯泼溅就像是用无数个"智能光点"来描绘现实世界。 通过3D高斯泼溅与视频孪生技术的融合应用,这一难题得到了完美解决。一台搭载3D高斯采集设备的巡逻车,每天能够巡查20-30公里街道,相当于传统模式下8-10名执法人员的工作量。 这个应用场景代表了3D高斯泼溅技术在处理复杂几何结构方面的巨大突破,为电力行业的智能化管理开辟了全新道路。
编辑:陈萍萍的公主@一点人工一点智能 入群邀请:10个专业方向交流群 一点人工一点智能 小工具集散地,知识随笔的分享小站 732篇原创内容 公众号 论文链接:https://arxiv.org/pdf/ 为了实现高效的BEV特征渲染,研究者们引入了透明度参数到三维高斯表示中,使得可以使用高斯栅格化技术进行快速且准确的BEV特征聚合。 三维高斯分布G(x)表达式如下: 这些高斯分布随后通过alpha混合法投影并渲染到二维平面上。 通过将这些三维表示与特征图F及透明度α结合,得到一组高斯分布 。 之后,将n组高斯分布组合并投影到BEV平面上 。 优化算法选择了AdamW,学习率为3×10-4,权重衰减为1×10-7,并采用余弦退火学习率调度器。总的批处理大小设置为8,分布在2块NVIDIA RTX 4090 GPU上,训练了50个周期。
现在有个新研究,在VR里实时控制3D高斯泼溅生成的物体,距离真正实现又前进了一大步。 比如操作这个铁马,一不小心就鬼畜了…… 再比如,调教了下这只烈狗。 在VR玩3D高斯泼溅 在这项研究中,团队主要做了这三点贡献: 开发了高保真沉浸式的VR系统,并做了广泛评估。 实时3D内容交互:该系统的工程设计侧重于以人为本。 全面的系统集成,将3D高斯泼溅、场景分割、图像绘制、基于物理的实时求解器和新的渲染几何嵌入算法等技术结合在了一起。 当然,最核心的就是提出了物理感知交互式的VR系统VR-GS。 这个名字顾名思义,就是集成了3D高斯泼溅(GS)和基于位置的扩展动力学(XPBD)。后者是一个高度适应性和一致性的物理模拟器,用于实时变形模拟。 由于模拟和渲染过程具有不同的几何表现形式,因此很难将模拟器直接集成到3D高斯内核中。 为了解决这一难题,研究人员构建了一个四面体笼,将每个分段的高斯内核组嵌入到相应的网格中。
此文系统梳理倾斜摄影、点云、3D 高斯泼溅(3DGS)这三大主流建模技术以及数字孪生技术,理清它们的原理、关系、优缺点和应用场景。 3D 高斯泼溅:这是 2023 年才火起来的革命性技术。它不用传统的三角形面片,而是用无数个 "彩色透明小球"(高斯椭球)来表示三维世界。
编辑:LRST 【新智元导读】本文将为大家介绍CVPR 2024 Highlight的论文LangSplat: 3D Language Gaussian Splatting(三维语义高斯泼溅)。 最近,来自清华大学和哈佛大学的研究人员共同提出了LangSplat,该方法结合三维高斯泼溅技术重建三维语义场,能够实现准确高效的开放文本查询。 现有方法在NeRF的基础上嵌入CLIP语义特征,LangSplat则通过结合三维高斯泼溅,在每个高斯点上编码了从CLIP提取的语义特征。 3D语义高斯泼溅:LangSplat引入了一种新的技术,即3D高斯泼溅,它使用包含语义特征嵌入的3D高斯来表示3D场景。这种方法比NeRF-based的方法渲染过程更快。 通过引入带有语义特征的3D高斯泼溅来进行三维场景感知。 2. 与以前的方法相比,实现了显著的速度提升,使其适合实时应用。 3.
(b) 相比之下,SplatSSC 利用几何先验进行引导,仅需一组精简且目标明确的高斯基元,即可实现高效的空间覆盖。 2.2 解耦高斯聚合器 (DGA):向 “漂浮物” 宣战 SplatSSC 引入了解耦高斯聚合器(Decoupled Gaussian Aggregator, DGA),从根本上重新设计了高斯到体素( 这种机制无需引入复杂的启发式规则,即可优雅地解决困扰高斯表征的 "漂浮物" 问题。 图 4:DGA 鲁棒性演示。 3.2 消融实验 高斯基元参数的消融分析:这组实验揭示了一个关键结论:基元堆砌并不等同于精度提升。 表 2:高斯基元参数消融实验。显存占用与耗时均在单张 RTX 3090 GPU 上测得。
Hong , Chunran Zheng,Yishu Shen , Changze Li , Fu Zhang , Tong Qin , Shaojie Shen 编辑:点云PCL 摘要 近年来,三维高斯泼溅重建 主要贡献 本研究旨在开发一种 激光雷达-惯性-视觉里程计(LIVO)系统,该系统利用 高斯泼溅建图(Gaussian Map) 作为新型地图表示方式,将激光雷达和摄像头测量数据进行紧密融合。 图 1:GS-LIVO 在大规模场景中的组成部分:基于航空数据集的实时里程计和高斯泼溅建图 本研究的主要贡献: 提出了一种基于空间哈希索引八叉树(spatial hash-indexed octree) 图 2:GS-LIVO 系统概述——种基于高斯泼溅建图的实时 LiDAR-惯性-视觉里程计系统。该流程利用多传感器数据对高斯点进行联合初始化和优化,并通过哈希索引八叉树结构和滑动窗口机制进行管理。 总结 本文提出了GS-LIVO,一种新型的实时SLAM系统,集成了传统的激光雷达-惯性-视觉里程计和新型的3D高斯泼溅点云表示地图。
但在 Mip-Splatting 项目之前,他从未接触过高斯泼溅技术,对于高斯泼溅的入门也是在业余时间以个人兴趣的形式展开的。 在论文中,Zehao Yu 等人介绍了一种用于 3D 图像渲染的抗锯齿 3D 高斯泼溅方法 ——Mip-Splatting。 3D 图像渲染是指生成三维图像的过程。 抗锯齿技术就是用来消除这些锯齿,使图像边缘看起来更加平滑和自然,近几年颇受关注的高斯泼溅就是这样一种技术。它利用高斯分布来平滑图像边缘,从而减少锯齿效应,使得图像更为平滑和自然。 到了 2023 年 10 月,他在业余时间开始玩高斯泼溅技术。他喜欢在业余时间尝试新事物并研究新的模型。 3DGS(3D Gaussian Splatting)是当时的新技术。 在 10 月 18 日,Zehao 写道:「大家好,我计划提交一篇关于解决最近 3D 高斯泼溅的抗锯齿 / 缩放伪影的论文到 CVPR。我发现这些伪影的主要原因是低通滤波器。
研究的核心贡献——通过分层高斯世界模型和任务导向的高斯泼溅技术,实现了对多体时空动态的精确建模。 论文提出的解决方案是通过分层高斯世界模型构建"领导者-跟随者"架构,其中领导者预测稳定臂运动导致的高斯泼溅变形,跟随者则生成动作臂运动产生的物理后果,这种创新架构为多体动态建模提供了全新思路。 高斯泼溅相关研究则突出了其显式可编辑特性对机器人操作的独特价值——能够持续跟踪操作器和目标。 3.2 任务导向高斯泼溅 传统高斯泼溅[26]使用参数θi=(μi,ci,ri,si,σi)表示位置、颜色、朝向、尺度和透明度,通过可微分的基于瓦片的栅格化进行渲染。 基线PerAct²仅获得5.67%的成功率,添加高斯回归器提升至20.00%,说明3D高斯表征比传统体素更有效。加入任务导向高斯泼溅后性能提高到26.67%,证实了区分双臂角色的重要性。
在本教程中,我们将逐步介绍一个端到端的工作流程:场景导出:从 Marble 画廊将现有场景导出为高斯泼溅(PLY)和碰撞体网格(GLB)。 选择“Splats (PLY)”下载高斯泼溅表示。Marble 的高斯泼溅以 .ply 文件形式提供,其中包含数百万个代表场景的半透明粒子,具有高保真度。 至此,我们有了两种形式的厨房环境——高斯泼溅和三角形网格。每种形式服务于不同的目的:PLY 捕获场景的完整视觉细节,而 GLB 提供仿真中物理和碰撞所需的网格几何体。 USDZ 使用自定义 USD 模式(UsdVolVolume 的扩展)来表示高斯泼溅,以便 Omniverse 能够渲染。本质上,它将点云嵌入为体积图元,保留了 Marble 场景的视觉保真度。 用于物理的碰撞体网格步骤 3:将 USDZ/GLB 导入 Isaac Sim 并构建场景生成 USDZ 文件后,下一步是将厨房场景导入 Isaac Sim,将网格与高斯泼溅对齐,并添加物理和光照,使其为交互做好准备
李飞飞团队这次开源的,是一个基于Three.js和WebGL2构建的3D高斯泼溅渲染引擎,专为网页端设计,可以流式传输和渲染超过1亿个高斯泼溅点。 那Spark 2.0用的3D高斯泼溅呢?本质上就是用带有透明度属性的半透明彩色椭球体,也就是splat,一个个堆叠出模型。 使用纹理映射三角形网格(左)和高斯溅射(右)渲染同一物体。说起来,这套东西以前也有。但Spark 2.0真正解决问题的,是另外三个东西。第一,它引入了连续LoD(细节层次)系统。 宁夏电力公司用无人机拍铁塔,用高斯泼溅还原施工现场,在虚拟环境里模拟脚手架搭建;中控信息那边也提到,基于3DGS的三维重建,效率比传统方案提升10倍以上;还有像公园、小镇、商业街等小场景通过高斯泼溅技术搭建 目前公开能查到的动态案例只有一款叫Starspeed的太空射击游戏,上亿个高斯点在浏览器里跑战斗场景。但放到工业里,传送带上的工件、跑来跑去的自动导引小车,这些动态物体怎么处理?
Kautz, Umar Iqbal 文章链接:https://arxiv.org/abs/2312.11461 项目代码:https://nvlabs.github.io/GAvatar/ 摘要: 高斯泼溅已成为一种强大的 在本文中,我们寻求利用高斯泼溅从文本描述生成逼真的可动画化身,解决网格或基于 NeRF 的表示所带来的限制(例如灵活性和效率)。 然而,高斯泼溅的简单应用无法生成高质量的可动画化身,并且存在学习不稳定的问题;它还无法捕捉精细的化身几何形状,并且常常导致身体部位退化。 为了解决这些问题,我们首先提出一种基于基元的 3D 高斯表示,其中高斯在姿势驱动的基元内定义以促进动画。其次,为了稳定和摊销数百万高斯的学习,我们建议使用神经隐式场来预测高斯属性(例如颜色)。 最后,为了捕捉精细的头像几何形状并提取详细的网格,我们提出了一种新颖的基于 SDF 的 3D 高斯隐式网格学习方法,该方法可以规范底层几何形状并提取高度详细的纹理网格。
因此,我们需要采用三维表征,为了实现从输入单视角图像的快速三维重建,我们利用基于三维高斯泼溅(3DGS)的大规模重建模型,这些模型能以前馈方式从输入图像预测三维高斯泼溅,使重建时间从传 统优化方法所需的几分钟减少到仅需几秒钟 PartRM 方法 方法概览 上图提供了 PartRM 方法的概述,给定一个单视角的铰链物体的图像 ot 和对应的拖拽 at,我们的目标是生 成对应的 3D 高斯泼溅 。 我们首先利用在我 们的数据集上微调好的 LGM 去推理每个状态 Mesh 对应的 3D 高斯泼溅表征,拿这些作为监督数据我们第 一阶段的训练。 对于两个 3D 高斯之间的对应,我们利用 LGM 输出的是一个 splatter image 这一优势,即 LGM 会对 2D 图像的每一个像素点学一个高斯泼溅,我们可以直接对监督数据和 PartRM 我们采用了两种 3D 高斯重建方法,第一种为直接用 LGM (下图中两个时间的第一个)进行重建,第二种利用基于优化的 3D 高斯泼溅进行重建(下图中两个时间的第二个)。
其中,3D高斯泼溅(3D Gaussian Splatting)和神经辐射场(NeRF)是最受关注的两项技术。高斯泼溅将3D场景表示为一系列带数学分布的“点云泼溅”,能够实现快速、逼真的渲染。 例如,FlexWorld框架能够从单张图像出发,逐步构建一个持久的3D高斯泼溅场景,支持360°旋转和缩放等灵活视角的探索。 与其让模型记忆海量的像素帧,不如让它维护一个紧凑的3D场景表征——可以是高斯泼溅点云,可以是神经辐射场,也可以是更传统的网格加纹理。这个3D表征作为世界的“持久记忆”,随着智能体的探索不断更新和完善。 但神经渲染技术(如3D高斯泼溅)是可微的,这意味着整个系统可以从“生成的画面是否真实”这个最终目标出发,端到端地优化3D场景表征、渲染参数和生成策略。 第四,3D场景的生成与编辑。
2025年末至2026年中,空间智能(Spatial Intelligence)研发进入从视觉感知到物理交互的生死跨越期:李飞飞创立的World Labs于2026年3月发布开源4D高斯泼溅引擎,首次实现工业场景下每秒 │└───────────────────────────────────────────────────────────────────────────┘三、硬核实战1:基于4D高斯泼溅的动态工业场景实时重建系统让产线 Server (2×RTX 4090)3.2 核心代码实现创建 dynamic_4dgs_reconstructor.py:"""dynamic_4dgs_reconstructor.py - 工业场景4D高斯泼溅实时重建系统技术栈 对策 :采用4D高斯泼溅框架;事件相机驱动动态分割;设置硬性更新预算(≤25ms);静态设备缓存复用。World Labs的开源引擎已验证此路径在工业场景的可行性。 真正的空间智能革命,不是在屏幕上展示精美的工厂漫游,而是在4D高斯泼溅与牛顿力学定律之间,以工程的严谨与对物理规律的敬畏,重新定义虚实融合的维度与持久的可信。
与通常假设像环境图一样的远距离照明的现有方法不同,我们提出了一种可学习的高斯定向编码,以更好地模拟近场照明条件下的视图相关效果。 我们表明,我们的高斯方向编码和几何先验显着改善了神经辐射场中具有挑战性的镜面反射的建模,这有助于将外观分解为更具物理意义的组件。 2.Splatter Image: Ultra-Fast Single-View 3D Reconstruction 标题:泼溅图像:超快速单视图 3D 重建 作者:Stanislaw Szymanowicz 我们第一次在单眼重建环境中应用高斯分布。我们的方法是基于学习的,并且在测试时,重建只需要神经网络的前馈评估。 Splatter Image 的主要创新是令人惊讶的简单设计:它使用 2D 图像到图像网络将输入图像映射到每个像素一个 3D 高斯。由此产生的高斯函数具有图像的形式,即泼溅图像。
2.4D Gaussian Splatting for Real-Time Dynamic Scene Rendering 标题:用于实时动态场景渲染的 4D 高斯泼溅 作者:Guanjun Wu, Taoran 我们引入了4D高斯泼溅(4D-GS)来实现实时动态场景渲染,同时还享有高训练和存储效率。构建有效的变形场来模拟高斯运动和形状变形。 不同的相邻高斯通过 HexPlane 连接,以产生更准确的位置和形状变形。