Description
BrickWright est un système conçu pour permettre aux agents de codage pré-entraînés de générer des constructions LEGO® de haute fidélité et physiquement réalisables à partir de diverses consignes, y compris des textes et des images. Son innovation principale réside dans la fourniture aux agents d'un ensemble d'outils programmatiques pour la création et la validation des constructions en briques. Cet ensemble d'outils, nommé BrickLayer, est un package Python qui permet aux agents d'écrire du code pour assembler et vérifier des modèles LEGO®.
Lire la suite
Le système guide les agents à travers une boucle plan-exécute-valide, où ils écrivent et révisent des fichiers Python pour construire une création. Les composants clés de l'API BrickLayer incluent des fonctionnalités pour découvrir des pièces par mot-clé, assembler la géométrie en composant des pièces et des sous-constructions avec un placement précis ou un alignement automatique, et vérifier la faisabilité physique en identifiant les collisions, les pièces flottantes et les composants connectés. Les agents disposent d'outils tels que `validate`, `render` et `finalize` pour faciliter ce processus. L'outil `validate` offre des retours sur la faisabilité physique, tandis que `render` permet une inspection visuelle. Une fois tous les tests de faisabilité réussis et que l'agent est satisfait, il appelle `finalize` pour compléter la construction.
BrickWright améliore considérablement la qualité des constructions générées par les agents, réduisant les violations physiques par rapport aux agents utilisant des outils généraux. Il surpasse également les modèles spécialisés de texte à brique comme BrickGPT et BrickNet en termes de validité globale, de connectivité et de respect des consignes. Le système est particulièrement efficace pour les agents légers, augmentant considérablement leurs performances. Par exemple, il a amélioré la validité physique de GPT-6 Luna de 9 % à 100 % tout en améliorant le respect des consignes, à une fraction du coût des modèles de pointe. BrickWright est conçu pour être compatible avec n'importe quel backend d'agent, et son code est disponible en open source sur GitHub.
La motivation derrière BrickWright découle de l'observation que, bien que les agents de codage de pointe deviennent compétents dans la modélisation d'objets 3D, y compris les constructions en briques, ils ont encore du mal à créer des structures physiquement réalisables. Une construction est définie comme physiquement réalisable si elle utilise uniquement des pièces réelles, n'a pas de composants en collision ou flottants, et forme une structure connectée. BrickWright répond à ces défis en intégrant une approche structurée et basée sur le code qui garantit que les modèles générés respectent les contraintes physiques du monde réel, aboutissant à des créations LEGO® plus réalistes et utilisables.
- CatégorieOutils IA de développement de jeux
- Modèle tarifaireOpen source
- DéploiementGitHub (Code Available)
- PlateformesWeb
Fonctionnalités principales de BrickWright
Génération de constructions LEGO® agentique : Permet aux agents de codage de créer des constructions LEGO® à partir de textes ou d'images.
Constructions physiquement réalisables : Génère des modèles avec de vraies pièces LEGO®, sans collisions, sans pièces flottantes et avec des composants connectés.
Ensemble d'outils programmatiques (BrickLayer) : Fournit un package Python pour la création et la validation de constructions en briques.
Génération basée sur le code : Guide les agents à écrire du code Python pour construire et réviser des modèles LEGO®.
Découverte de pièces : Permet de rechercher dans le catalogue de pièces par mot-clé et de filtrer par champs de métadonnées.
Assemblage de géométrie : Compose des pièces et des sous-constructions avec une pose exacte ou un alignement automatique des connecteurs.
Vérifications de faisabilité physique : Identifie les collisions, les pièces flottantes et les composants connectés.
Boucle plan-exécute-valide : Les agents écrivent, valident et rendent les constructions de manière itérative.
Outil de validation : Fournit des retours sur la faisabilité physique et des tests personnalisés.
Outil de rendu : Permet l'inspection visuelle des constructions générées.
Outil de finalisation : Complète le processus de construction une fois tous les tests réussis et le rendu satisfaisant.
Amélioration des performances des agents : Améliore considérablement la qualité de construction et la validité physique pour divers backends d'agents.
Coût-efficace pour les agents légers : Améliore les performances des modèles légers à faible coût.
Surpasse les modèles spécialisés : Atteint une meilleure validité globale, connectivité et respect des consignes que les modèles dédiés de texte à brique.
Disponibilité sur GitHub : Le code est disponible sur GitHub pour un accès et une intégration plus larges.
Comment utiliser BrickWright ?
Fournir une consigne : Saisir une consigne textuelle ou une image décrivant la construction LEGO® souhaitée.
L'agent écrit du code : L'agent pré-entraîné utilise l'API BrickLayer pour écrire du code Python pour la construction.
Valider la construction : L'agent appelle l'outil `validate` pour vérifier la faisabilité physique (collisions, pièces flottantes, connectivité) et les tests personnalisés.
Inspecter et réviser : L'agent utilise l'outil `render` pour l'inspection visuelle et révise le code Python en fonction des retours de validation.
Finaliser la création : Une fois tous les tests de faisabilité réussis et que l'agent est satisfait du rendu, il appelle `finalize` pour compléter la construction.
Cas d'utilisation de BrickWright
- Génération de modèles LEGO®
- Exploration de design agentique
- Outil éducatif pour la robotique/IA
- Prototypage rapide de structures en briques
- Génération de contenu créatif
- Recherche en IA agentique
