Plenoxels：辐射场

描述

Plenoxels 通过引入一种视依赖的稀疏体素模型，在 3D 场景表示方面取得了突破，该模型在不包含任何神经网络组件的情况下实现了与神经辐射场 (NeRF) 相媲美的保真度。这项创新方法在 CVPR 2022 的论文中有详细介绍，其优化水平与 NeRF 相当，但计算成本却大大降低。在单个 GPU 上，典型的优化时间约为 11 分钟，与 NeRF 相比，速度提升了两个数量级。

Plenoxels 的核心在于其稀疏体素网格，其中每个体素存储密度和球谐系数。在渲染光线时，系统通过三线性插值在采样点处对这些系数进行插值。然后，使用可微分体积渲染（一种由 NeRF 推广的技术）来整合这些样本的颜色和不透明度。体素系数使用标准的均方误差 (MSE) 重建损失与训练图像进行优化，并辅以全变分正则化器以确保结果平滑连贯。

该方法展示了超快的收敛速度，比 NeRF 快 100 倍即可达到可比的指标 (PSNR)，并在几秒钟内产生合理的结果。通过采用 NeRF 的 NDC 参数化，Plenoxels 能够匹配 NeRF 在面向前场景上的结果。此外，通过整合基于多球面图像 (MSI) 的背景模型（类似于 NeRF++），该方法已扩展到处理 360° 真实场景。

Plenoxel 模型对于从事 3D 重建、计算机视觉和图形学应用的研究人员和开发人员尤其有价值，他们需要快速准确的场景表示。其效率使其适用于迭代和渲染速度至关重要的应用，例如虚拟现实、增强现实和游戏开发。在无需神经网络计算开销的情况下实现高质量结果的能力，为实时 3D 内容创建和操作开辟了新的可能性。

Plenoxels：辐射场亮点

• 无需神经网络即可优化辐射场

• 实现与 NeRF 相媲美的高保真度

• 在单个 GPU 上优化时间约为 11 分钟

• 比 NeRF 快两个数量级

• 利用稀疏体素网格存储密度和球谐系数

• 采用三线性插值处理采样点的颜色和不透明度

• 使用可微分体积渲染整合颜色和不透明度

• 使用 MSE 重建损失优化体素系数

• 包含全变分正则化器以获得平滑结果

• 支持使用 NeRF 的 NDC 参数化进行面向前场景

• 可通过多球面图像背景模型扩展到 360° 场景

Plenoxels：辐射场入门

1. 1

   访问模型：获取 Plenoxel 实现。

2. 2

   设置环境：准备必要的库和依赖项。

3. 3

   通过代码集成：将 Plenoxel 整合到您的 3D 重建流程中。

4. 4

   优化体素系数：使用训练图像运行优化过程。

5. 5

   渲染场景：从优化的 Plenoxel 网格生成新视图。

Plenoxels：辐射场的使用案例

• 3D 场景重建
• 虚拟现实内容
• 增强现实叠加
• 计算机视觉研究
• 快速原型制作
• 新视图合成

Plenoxels：辐射场的常见问题

• 什么是 Plenoxels？它与 NeRF 有何不同？

  Plenoxels 是一种辐射场模型，它使用稀疏体素网格在不使用神经网络的情况下重建 3D 场景，这与依赖神经网络的 NeRF 不同。这使得优化速度显著加快。

• 与 NeRF 相比，Plenoxels 的速度有多快？

  Plenoxels 比 NeRF 快两个数量级，在单个 GPU 上的典型优化时间约为 11 分钟，同时实现了可比的保真度。

• 训练 Plenoxels 需要什么数据？

  Plenoxels 需要一组经过校准的物体或场景图像来优化其稀疏体素网格。

• Plenoxels 使用神经网络吗？

  不，Plenoxels 的设计目标是在不使用任何神经网络的情况下实现高保真辐射场。

• Plenoxels 如何表示 3D 场景？

  它使用稀疏体素网格来表示 3D 场景，其中每个体素包含密度和球谐系数。

• Plenoxels 使用什么渲染技术？

  Plenoxels 使用可微分体积渲染来整合沿光线采样点的颜色和不透明度。

• Plenoxels 能处理 360° 场景吗？

  是的，通过使用基于多球面图像的背景模型，Plenoxels 可以扩展到处理 360° 真实场景。

• Plenoxels 的典型优化时间是多少？

  Plenoxels 的典型优化时间在单个 GPU 上约为 11 分钟。

• 全变分正则化器在 Plenoxels 中起什么作用？

  全变分正则化器在优化过程中用于确保重建场景的平滑和连贯结果。

• 使用 Plenoxels 有哪些好处？

  主要好处是优化时间大大缩短，并且在不产生神经网络计算开销的情况下实现高保真 3D 场景重建。