描述
用于实时辐射场渲染的 3D 高斯泼溅技术提出了一种新颖的新视图合成方法,通过在不牺牲视觉质量的情况下实现实时渲染速度来彻底改变该领域。传统的辐射场方法通常需要昂贵的训练和渲染过程,而更快的替代方法通常会牺牲质量。该方法解决了无界和完整场景的这些限制,目标是以 1080p 分辨率和超过 100 帧/秒的速度进行高质量渲染。
阅读更多
核心创新在于使用 3D 高斯来表示场景。这种表示保留了连续体积辐射场用于优化的理想特性,同时有效地处理了空白空间。该过程涉及这些 3D 高斯的交错优化和密度控制,并特别关注优化各向异性协方差以实现准确的场景表示。这使得能够更详细、更精确地捕捉场景的几何形状和外观。
此外,该系统还包含一个快速的视感知渲染算法。该算法支持各向异性泼溅,这显著加快了训练阶段和实时渲染能力。通过考虑可见性,渲染过程变得更有效率,并产生更高质量的结果,尤其是在具有复杂细节和遮挡的复杂场景中。
该方法已被证明在各种既有数据集上实现了最先进的视觉质量和实时渲染性能。评估是在先前发布的数据集(包括 Mip-Nerf360、Tanks and Temples 和 Deep Blending)以及合成的 Blender 数据集中的真实场景上进行的。结果展示了 3D 高斯泼溅在以前所未有的速度生成照片级真实感新视图方面的有效性。
这项研究对于需要 3D 环境交互式探索、虚拟和增强现实体验以及高保真视觉效果的应用特别有益。实时渲染复杂场景的能力为动态内容创建和沉浸式用户体验开辟了新的可能性。该项目得到了 ERC 高级拨款 FUNGRAPH 以及 GENCI–IDRIS 的计算资源的支持。
- 类别3D 模型生成器
- 定价模式开源
- 部署云端
- 平台网页版
3D 高斯泼溅亮点
1080p 分辨率下的实时新视图合成(≥ 100 fps)
使用 3D 高斯进行场景表示
高斯的交错优化和密度控制
优化各向异性协方差以实现准确的场景表示
快速的视感知渲染算法
支持各向异性泼溅
加速训练时间
最先进的视觉质量
处理无界和完整场景
在空白空间中进行高效计算
3D 高斯泼溅入门
访问模型:从提供的存储库下载代码和数据。
设置环境:按照项目文档中的说明安装必要的依赖项。
准备场景:处理您拍摄的照片或视频,以生成用于相机校准的稀疏点。
优化高斯:运行训练过程以优化场景的 3D 高斯表示。
集成渲染:利用快速渲染算法进行实时新视图合成。
评估结果:将渲染的视图与真实值或其他方法进行比较以进行质量评估。
3D 高斯泼溅的使用案例
- 实时 3D 场景渲染
- 新视图合成
- 虚拟和增强现实
- 3D 重建可视化
- 交互式内容创建
- 视觉效果





