Descrição
BrickWright é um sistema projetado para permitir que agentes de codificação pré-treinados gerem construções LEGO® de alta fidelidade e fisicamente viáveis a partir de vários prompts, incluindo texto e imagens. Sua inovação central reside em fornecer aos agentes um conjunto de ferramentas programáticas para criar e validar construções de tijolos. Este conjunto de ferramentas, chamado BrickLayer, é um pacote Python que permite aos agentes escrever código para montar e verificar modelos LEGO®.
Ler mais
O sistema orienta os agentes através de um ciclo de planejar-executar-validar, onde eles escrevem e revisam arquivos Python para construir uma construção. Os componentes principais da API BrickLayer incluem funcionalidades para descobrir peças por palavra-chave, montar geometria compondo peças e sub-construções com posicionamento preciso ou alinhamento automático, e verificar a viabilidade física identificando colisões, peças flutuantes e componentes conectados. Os agentes recebem ferramentas como `validate`, `render` e `finalize` para facilitar esse processo. A ferramenta `validate` oferece feedback sobre a viabilidade física, enquanto `render` permite a inspeção visual. Uma vez que todos os testes de viabilidade sejam aprovados e o agente esteja satisfeito, ele chama `finalize` para completar a construção.
BrickWright melhora significativamente a qualidade das construções geradas pelos agentes, reduzindo violações físicas em comparação com agentes que usam ferramentas gerais. Ele também supera modelos especializados de texto para tijolo, como BrickGPT e BrickNet, em termos de validade geral, conectividade e adesão aos prompts. O sistema é particularmente eficaz para agentes leves, aumentando drasticamente seu desempenho. Por exemplo, melhorou a validade física do GPT-6 Luna de 9% para 100% enquanto aprimorava a adesão aos prompts, a um custo reduzido em comparação com modelos de ponta. BrickWright foi projetado para ser compatível com qualquer backend de agente, e seu código está disponível publicamente no GitHub.
A motivação por trás do BrickWright decorre da observação de que, embora agentes de codificação de ponta estejam se tornando proficientes em modelar objetos 3D, incluindo construções de tijolos, eles ainda enfrentam dificuldades em criar estruturas fisicamente viáveis. Uma construção é definida como fisicamente viável se utiliza apenas peças reais, não possui componentes colidindo ou flutuando, e forma uma estrutura conectada. BrickWright aborda esses desafios integrando uma abordagem estruturada e baseada em código que garante que os modelos gerados respeitem as restrições físicas do mundo real, resultando em criações LEGO® mais realistas e utilizáveis.
- CategoriaFerramentas de desenvolvimento de jogos com IA
- Modelo de preçosCódigo aberto
- ImplantaçãoGitHub (Code Available)
- PlataformasWeb
Recursos principais de BrickWright
Geração de Construções LEGO® Agente: Permite que agentes de codificação criem construções LEGO® a partir de prompts de texto ou imagem.
Construções Fisicamente Viáveis: Gera modelos com peças LEGO® reais, sem colisões, sem peças flutuantes e componentes conectados.
Conjunto de Ferramentas Programáticas (BrickLayer): Fornece um pacote Python para criação e validação de construções de tijolos.
Geração Baseada em Código: Orienta os agentes a escrever código Python para construir e revisar modelos LEGO®.
Descoberta de Peças: Permite pesquisar no catálogo de peças por palavra-chave e filtrar por campos de metadados.
Montagem de Geometria: Compoe peças e sub-construções com pose exata ou alinhamento automático de conectores.
Verificações de Viabilidade Física: Identifica colisões, peças flutuantes e componentes conectados.
Ciclo de Planejar-Executar-Validação: Os agentes escrevem, validam e renderizam construções de forma iterativa.
Ferramenta de Validação: Fornece feedback sobre viabilidade física e testes personalizados.
Ferramenta de Renderização: Permite a inspeção visual das construções geradas.
Ferramenta de Finalização: Completa o processo de construção uma vez que todos os testes sejam aprovados e a renderização seja satisfatória.
Melhoria no Desempenho do Agente: Melhora significativamente a qualidade da construção e a validade física para vários backends de agentes.
Custo-Efetivo para Agentes Leves: Melhora o desempenho de modelos leves a um baixo custo.
Supera Modelos Especializados: Alcança melhor validade geral, conectividade e adesão aos prompts do que modelos dedicados de texto para tijolo.
Disponibilidade no GitHub: O código está disponível no GitHub para acesso e integração mais amplos.
Como usar BrickWright?
Fornecer Prompt: Insira um prompt de texto ou imagem descrevendo a construção LEGO® desejada.
Agente Escreve Código: O agente pré-treinado usa a API BrickLayer para escrever código Python para a construção.
Validar Construção: O agente chama a ferramenta `validate` para verificar a viabilidade física (colisões, peças flutuantes, conectividade) e testes personalizados.
Inspecionar e Revisar: O agente usa a ferramenta `render` para inspeção visual e revisa o código Python com base no feedback de validação.
Finalizar Criação: Uma vez que todos os testes de viabilidade sejam aprovados e o agente esteja satisfeito com a renderização, ele chama `finalize` para completar a construção.
Casos de uso de BrickWright
- Geração de Modelos LEGO®
- Exploração de Design Agente
- Ferramenta Educacional para Robótica/IA
- Prototipagem Rápida de Estruturas de Tijolos
- Geração de Conteúdo Criativo
- Pesquisa em IA Agente
