描述
GaussianObject 提出了一个新颖的框架，可从最少四张输入图像生成高质量的 3D 对象重建。该方法利用高斯溅射来表示和渲染 3D 对象，实现了令人印象深刻的视觉保真度。一项关键创新是其在无 COLMAP 条件下也能有效运行的能力，显著降低了 3D 重建任务的入门门槛。
该过程始于视觉外壳构建和浮点消除等技术。这些方法将结构先验注入初始优化，有助于创建一致的、粗糙的 3D 高斯表示。此初始表示捕获了对象的基本形状和结构。
在初始重建之后，会采用基于扩散模型的 Gaussian Repair 模型。该模型补充了任何遗漏的对象信息，并进一步精炼现有高斯，从而得到更详细、更准确的最终模型。利用自生成策略来创建适合训练此修复模型的图像对，以确保其有效性。
与使用四视图的先前最先进方法相比，GaussianObject 展现了卓越的重建结果。该框架设计为可适应的，并为标准用法和无 COLMAP 变体提供了指南。这种灵活性使用户能够更轻松地重建任意捕获的对象。
该项目是 SIGGRAPH Asia 2024 的一项研究贡献，发表在 ACM Transactions on Graphics (TOG) 上。它为对高效、高保真 3D 对象重建感兴趣的研究人员和开发人员提供了强大的解决方案，尤其是在缺乏大量多视图数据或精确相机姿态的情况下。
GaussianObject的核心功能
从四视图进行高质量 3D 对象重建
利用高斯溅射进行表示和渲染
无 COLMAP 重建能力
结合视觉外壳和扩散模型进行精炼
注入结构先验以实现多视图一致性
用于训练修复模型的自生成策略
在视图有限的情况下优于先前最先进的方法
提供标准和无 COLMAP 用法的指南
在 SIGGRAPH Asia 2024 (ACM TOG) 上发表的研究成果
GaussianObject入门
克隆仓库：克隆 GaussianObject 仓库，确保包含子模块。
设置环境：安装所需的 Python 包，包括支持 CUDA 的 PyTorch。
准备数据：使用图像和必要的配置文件组织数据集，或使用 Mip-NeRF360 等提供的现成数据集。
生成视觉外壳：运行 visual_hull.py 脚本以创建初始 3D 表示。
训练粗糙 3DGS：使用 train_gs.py 优化粗糙 3D 高斯表示。
使用修复模型进行精炼：训练并应用 Gaussian Repair 模型进行详细重建。
渲染结果：使用 render.py 可视化最终的 3D 对象重建。
GaussianObject的使用案例
- 3D 对象重建
- 资产生成
- 摄影测量替代方案
- 计算机视觉研究
- 快速原型制作
- 数字归档
