跳转到主要内容
ToolPotion
AI 顾问
提交(免费)

GaussianObject

GaussianObject 是一个框架,可使用高斯溅射技术从仅四视图中进行高质量 3D 对象重建。它结合了视觉外壳技术和扩散模型进行精炼,即使没有 COLMAP 也能取得优异成果,使 3D 重建更易于访问。

查看仓库
分享
查看仓库
分享

GaussianObject 提出了一个新颖的框架,可从最少四张输入图像生成高质量的 3D 对象重建。该方法利用高斯溅射来表示和渲染 3D 对象,实现了令人印象深刻的视觉保真度。一项关键创新是其在无 COLMAP 条件下也能有效运行的能力,显著降低了 3D 重建任务的入门门槛。

阅读更多

该过程始于视觉外壳构建和浮点消除等技术。这些方法将结构先验注入初始优化,有助于创建一致的、粗糙的 3D 高斯表示。此初始表示捕获了对象的基本形状和结构。

在初始重建之后,会采用基于扩散模型的 Gaussian Repair 模型。该模型补充了任何遗漏的对象信息,并进一步精炼现有高斯,从而得到更详细、更准确的最终模型。利用自生成策略来创建适合训练此修复模型的图像对,以确保其有效性。

与使用四视图的先前最先进方法相比,GaussianObject 展现了卓越的重建结果。该框架设计为可适应的,并为标准用法和无 COLMAP 变体提供了指南。这种灵活性使用户能够更轻松地重建任意捕获的对象。

该项目是 SIGGRAPH Asia 2024 的一项研究贡献,发表在 ACM Transactions on Graphics (TOG) 上。它为对高效、高保真 3D 对象重建感兴趣的研究人员和开发人员提供了强大的解决方案,尤其是在缺乏大量多视图数据或精确相机姿态的情况下。

  • 类别3D 模型生成器
  • 定价模式开源
  • 部署自托管
  • 平台Linux

  • 从四视图进行高质量 3D 对象重建

  • 利用高斯溅射进行表示和渲染

  • 无 COLMAP 重建能力

  • 结合视觉外壳和扩散模型进行精炼

  • 注入结构先验以实现多视图一致性

  • 用于训练修复模型的自生成策略

  • 在视图有限的情况下优于先前最先进的方法

  • 提供标准和无 COLMAP 用法的指南

  • 在 SIGGRAPH Asia 2024 (ACM TOG) 上发表的研究成果

  1. 克隆仓库:克隆 GaussianObject 仓库,确保包含子模块。

  2. 设置环境:安装所需的 Python 包,包括支持 CUDA 的 PyTorch。

  3. 准备数据:使用图像和必要的配置文件组织数据集,或使用 Mip-NeRF360 等提供的现成数据集。

  4. 生成视觉外壳:运行 visual_hull.py 脚本以创建初始 3D 表示。

  5. 训练粗糙 3DGS:使用 train_gs.py 优化粗糙 3D 高斯表示。

  6. 使用修复模型进行精炼:训练并应用 Gaussian Repair 模型进行详细重建。

  7. 渲染结果:使用 render.py 可视化最终的 3D 对象重建。

  • 3D 对象重建
  • 资产生成
  • 摄影测量替代方案
  • 计算机视觉研究
  • 快速原型制作
  • 数字归档

GaussianObject 评价

加载中...

与 GaussianObject 类似的热门AI工具

LGM 是一个用于高分辨率 3D 内容创建的大型多视图高斯模型的官方实现。它能够从多视图图像生成详细的 3D 资产,并应用于文本到 3D 和图像到 3D 工作流程。该项目提供了代码、预训练权重和推理脚本。

3D 模型生成器
查看工具

用于高分辨率 3D 内容创建的大型多视图高斯模型的官方实现。它能够从多视图图像生成详细的 3D 资产,并应用于文本到 3D 和图像到 3D 工作流程。该项目提供了代码、预训练权重和推理脚本。LGM 是一个用于高分辨率 3D 内容创建的大型多视图高斯模型的官方实现。它能够从多视图图像生成详细的 3D 资产,并应用于文本到 3D 和图像到 3D 工作流程。该项目提供了代码、预训练权重和推理脚本。

3D 模型生成器
查看 AI GitHub 仓库 Top 250

该 AI 模型引入了用于实时辐射场渲染的 3D 高斯泼溅技术,以高帧率实现了最先进的视觉质量。它使用 3D 高斯和快速的视感知渲染算法来优化场景表示,从而能够以 1080p 分辨率进行高质量的新视图合成。

3D 模型生成器
查看工具

该 AI 模型引入了用于实时辐射场渲染的 3D 高斯泼溅技术,以高帧率实现了最先进的视觉质量。它使用 3D 高斯和快速的视感知渲染算法来优化场景表示,从而能够以 1080p 分辨率进行高质量的新视图合成。

3D 模型生成器
查看 AI 模型 Top 5

MVDream

AI GitHub 仓库

MVDream 是一个用于多视图 3D 生成的扩散模型,构建于 Stable Diffusion 之上。它能够从不同视角创建多个 2D 图像,是生成 3D 资产的基础组件。该项目提供了扩散模型和 2D 图像生成代码。

3D 模型生成器
查看工具

AI GitHub 仓库

用于多视图 3D 生成的扩散模型,构建于 Stable Diffusion 之上。它能够从不同视角创建多个 2D 图像,是生成 3D 资产的基础组件。该项目提供了扩散模型和 2D 图像生成代码。MVDream 是一个用于多视图 3D 生成的扩散模型,构建于 Stable Diffusion 之上。它能够从不同视角创建多个 2D 图像,是生成 3D 资产的基础组件。该项目提供了扩散模型和 2D 图像生成代码。

3D 模型生成器
查看 AI GitHub 仓库 Top 250

PanoHead

AI GitHub 仓库

PanoHead 是一个用于 CVPR 2023 论文的研究代码库,该论文专注于 360 度几何感知 3D 全头部合成。它能够从非结构化的真实世界图像中生成高质量、视图一致的各种 3D 人头图像,提供详细的几何和外观信息。

3D 模型生成器
查看工具

AI GitHub 仓库

用于 CVPR 2023 论文的研究代码库,该论文专注于 360 度几何感知 3D 全头部合成。它能够从非结构化的真实世界图像中生成高质量、视图一致的各种 3D 人头图像,提供详细的几何和外观信息。PanoHead 是一个用于 CVPR 2023 论文的研究代码库,该论文专注于 360 度几何感知 3D 全头部合成。它能够从非结构化的真实世界图像中生成高质量、视图一致的各种 3D 人头图像,提供详细的几何和外观信息。

3D 模型生成器
查看 AI GitHub 仓库 Top 250

Stable-DreamFusion

AI GitHub 仓库

Stable-DreamFusion 是文本到 3D 模型 DreamFusion 的 PyTorch 实现,利用 Stable Diffusion 进行 3D 内容生成。它支持文本到 3D、图像到 3D 和网格导出,通过 NeRF 和 Diffusion 技术提供灵活性。该项目使用户能够从各种输入创建 3D 资产。

3D 模型生成器
查看工具

AI GitHub 仓库

文本到 3D 模型 DreamFusion 的 PyTorch 实现,利用 Stable Diffusion 进行 3D 内容生成。它支持文本到 3D、图像到 3D 和网格导出,通过 NeRF 和 Diffusion 技术提供灵活性。该项目使用户能够从各种输入创建 3D 资产。Stable-DreamFusion 是文本到 3D 模型 DreamFusion 的 PyTorch 实现,利用 Stable Diffusion 进行 3D 内容生成。它支持文本到 3D、图像到 3D 和网格导出,通过 NeRF 和 Diffusion 技术提供灵活性。该项目使用户能够从各种输入创建 3D 资产。

3D 模型生成器
查看 AI GitHub 仓库 Top 250

InstantMesh

AI GitHub 仓库

InstantMesh 是一个高效的 3D 网格生成工具,能够从单张图像中生成网格,利用稀疏视图大规模重建模型。它旨在简化快速有效地创建详细 3D 模型的过程。

3D 模型生成器媒体与娱乐
查看工具

AI GitHub 仓库

高效的 3D 网格生成工具,能够从单张图像中生成网格,利用稀疏视图大规模重建模型。它旨在简化快速有效地创建详细 3D 模型的过程。InstantMesh 是一个高效的 3D 网格生成工具,能够从单张图像中生成网格,利用稀疏视图大规模重建模型。它旨在简化快速有效地创建详细 3D 模型的过程。

3D 模型生成器媒体与娱乐
查看 AI GitHub 仓库 Top 250

KIRI引擎

AI 应用

KIRI引擎是一款适用于iPhone、Android和Web的多功能3D扫描应用。它提供先进的3D扫描技术,如摄影测量、LiDAR和3D高斯点云,使用户能够高效地创建详细的3D模型。

3D 模型生成器

3D 模型生成器 排名第 17 位

查看工具

AI 应用

适用于iPhone、Android和Web的多功能3D扫描应用。它提供先进的3D扫描技术,如摄影测量、LiDAR和3D高斯点云,使用户能够高效地创建详细的3D模型。KIRI引擎是一款适用于iPhone、Android和Web的多功能3D扫描应用。它提供先进的3D扫描技术,如摄影测量、LiDAR和3D高斯点云,使用户能够高效地创建详细的3D模型。

3D 模型生成器
3D 模型生成器 排名第 17 位

SAM 3D

AI 应用

SAM 3D 是一个独立的第三方平台,使 Meta 的 SAM 3D 对象和 SAM 3D 身体模型可用于单图像 3D 重建,让开发者和创作者能够将一张照片转化为 3D 对象、人物和场景。

3D 模型生成器媒体与娱乐
查看工具

AI 应用

独立的第三方平台,使 Meta 的 SAM 3D 对象和 SAM 3D 身体模型可用于单图像 3D 重建,让开发者和创作者能够将一张照片转化为 3D 对象、人物和场景。SAM 3D 是一个独立的第三方平台,使 Meta 的 SAM 3D 对象和 SAM 3D 身体模型可用于单图像 3D 重建,让开发者和创作者能够将一张照片转化为 3D 对象、人物和场景。

3D 模型生成器媒体与娱乐
查看 AI 应用 Top 250
1/8