描述
LGM，即大型多视图高斯模型，是一个专为高分辨率 3D 内容创建而设计的先进框架。该项目作为 ECCV 2024 的一篇口头论文发表，提供了一个新颖的高斯模型的强大实现，该模型能够从多个输入视图生成详细的 3D 资产。LGM 的核心在于其利用多视图信息以令人印象深刻的保真度重建和渲染复杂 3D 场景的能力。
该项目为对 3D 内容生成感兴趣的研究人员和开发人员提供了一套全面的工具。这包括官方代码库、可供下载的预训练模型权重以及清晰的推理说明。LGM 支持文本到 3D 和图像到 3D 生成流程，使其成为各种创意和技术应用的通用工具。该实现建立在高斯溅射和神经渲染技术的现有研究基础上，旨在推动 3D 合成质量和分辨率的界限。
LGM 的关键能力包括其高分辨率输出，能够创建详细的 3D 模型和场景。模型的架构针对多视图输入进行了优化，能够准确重建几何和外观。该项目还提供了一个用于可视化保存的 PLY 文件的本地 GUI 和用于网格转换的脚本，从而更容易集成到现有的 3D 工作流程中。虽然训练数据集基于 AWS 且不可直接转移，但该项目提供了训练代码框架和 Objaverse 数据集的过滤子集，供希望训练自己模型的用户使用。
LGM 对于计算机视觉和图形学领域的研究人员、3D 美术师、游戏开发者以及任何参与创建或操作 3D 资产的人来说都特别有价值。该项目的开源性质和详细文档鼓励社区贡献和进一步发展。对高分辨率输出和多视图一致性的强调使 LGM 成为生成式 3D 建模领域的一项重大进步。
LGM: Large Multi-View Gaussian Model的核心功能
高分辨率 3D 内容创建
大型多视图高斯模型实现
支持文本到 3D 生成
支持图像到 3D 生成
提供官方代码和预训练权重
包含推理脚本
用于 3D 模型可视化的本地 GUI
网格转换工具
基于高斯溅射技术
ECCV 2024 口头论文
LGM: Large Multi-View Gaussian Model入门
克隆仓库：从 GitHub 获取 LGM 代码。
安装依赖项：设置所需的 Python 包，包括 PyTorch 和 xformers。
下载权重：从 Hugging Face 获取预训练模型检查点。
配置推理：指定工作区和测试路径以进行生成。
执行推理：运行 `infer.py` 脚本进行 3D 生成。
可视化结果：使用 `gui.py` 查看生成的 PLY 文件。
转换为网格：使用 `convert.py` 进行网格提取。
LGM: Large Multi-View Gaussian Model的使用案例
- 高分辨率 3D 资产生成
- 文本到 3D 内容创建
- 图像到 3D 重建
- AR/VR 的 3D 内容
- 游戏开发资产
- 生成式 3D 研究
