Описание
BrickWright — это система, предназначенная для того, чтобы позволить предобученным кодирующим агентам генерировать высококачественные, физически осуществимые конструкции LEGO® на основе различных подсказок, включая текст и изображения. Основная инновация заключается в предоставлении агентам программного инструментария для создания и проверки кирпичных конструкций. Этот инструментарий, названный BrickLayer, представляет собой пакет Python, который позволяет агентам писать код для сборки и проверки моделей LEGO®.
Читать далее
Система направляет агентов через цикл планирования-выполнения-проверки, где они пишут и пересматривают файлы Python для создания сборки. Ключевые компоненты API BrickLayer включают функциональности для поиска деталей по ключевым словам, сборки геометрии путем компоновки деталей и подконструкций с точным размещением или автоматическим выравниванием, а также проверки физической осуществимости путем выявления столкновений, плавающих частей и соединенных компонентов. Агентам предоставляются инструменты, такие как `validate`, `render` и `finalize`, для упрощения этого процесса. Инструмент `validate` предоставляет обратную связь о физической осуществимости, в то время как `render` позволяет визуально проверять. Как только все тесты на осуществимость пройдены и агент удовлетворен, он вызывает `finalize` для завершения сборки.
BrickWright значительно улучшает качество сборок, создаваемых агентами, снижая физические нарушения по сравнению с агентами, использующими общие инструменты. Он также превосходит специализированные модели текст-в-кирпич, такие как BrickGPT и BrickNet, по общему уровню валидности, связности и соблюдению подсказок. Система особенно эффективна для легковесных агентов, значительно повышая их производительность. Например, она улучшила физическую валидность GPT-6 Luna с 9% до 100%, одновременно увеличив соблюдение подсказок, при этом затраты были значительно ниже, чем у передовых моделей. BrickWright разработан для совместимости с любым бэкендом агента, а его код доступен на GitHub.
Мотивация, стоящая за BrickWright, проистекает из наблюдения, что, хотя передовые кодирующие агенты становятся искусными в моделировании 3D-объектов, включая кирпичные конструкции, они все еще испытывают трудности с созданием физически осуществимых структур. Сборка определяется как физически осуществимая, если она использует только реальные детали, не имеет сталкивающихся или плавающих компонентов и образует связанную структуру. BrickWright решает эти проблемы, интегрируя структурированный, основанный на коде подход, который гарантирует, что сгенерированные модели соответствуют физическим ограничениям реального мира, что приводит к более реалистичным и полезным творениям LEGO®.
- КатегорияИИ-инструменты для разработки игр
- Модель ценообразованияОткрытый код
- РазвёртываниеGitHub (Code Available)
- ПлатформыВеб
Основные функции BrickWright
Генерация конструкций LEGO® агентами: Позволяет кодирующим агентам создавать конструкции LEGO® на основе текстовых или визуальных подсказок.
Физически осуществимые конструкции: Генерирует модели с реальными деталями LEGO®, без столкновений, без плавающих частей и с соединенными компонентами.
Программный инструментарий (BrickLayer): Предоставляет пакет Python для создания и проверки кирпичных конструкций.
Генерация на основе кода: Направляет агентов на написание кода на Python для сборки и пересмотра моделей LEGO®.
Поиск деталей: Позволяет искать в каталоге деталей по ключевым словам и фильтровать по метаданным.
Сборка геометрии: Компонуйте детали и подконструкции с точным положением или автоматическим выравниванием соединителей.
Проверки физической осуществимости: Выявляет столкновения, плавающие части и соединенные компоненты.
Цикл планирования-выполнения-проверки: Агенты итеративно пишут, проверяют и визуализируют сборки.
Инструмент проверки: Предоставляет обратную связь о физической осуществимости и пользовательских тестах.
Инструмент визуализации: Позволяет визуально проверять сгенерированные сборки.
Инструмент завершения: Завершает процесс сборки, как только все тесты пройдены и визуализация удовлетворительна.
Улучшенная производительность агентов: Значительно повышает качество сборки и физическую валидность для различных бэкендов агентов.
Экономически эффективен для легковесных агентов: Улучшает производительность легковесных моделей по низкой цене.
Превосходит специализированные модели: Достигает лучшей общей валидности, связности и соблюдения подсказок, чем специализированные модели текст-в-кирпич.
Доступность на GitHub: Код доступен на GitHub для более широкого доступа и интеграции.
Как использовать BrickWright?
Предоставьте подсказку: Введите текстовую или визуальную подсказку, описывающую желаемую конструкцию LEGO®.
Агент пишет код: Предобученный агент использует API BrickLayer для написания кода на Python для сборки.
Проверка сборки: Агент вызывает инструмент `validate`, чтобы проверить физическую осуществимость (столкновения, плавающие части, связность) и пользовательские тесты.
Проверка и пересмотр: Агент использует инструмент `render` для визуальной проверки и пересматривает код Python на основе обратной связи по проверке.
Завершение создания: Как только все тесты на осуществимость пройдены и агент удовлетворен визуализацией, он вызывает `finalize` для завершения сборки.
Варианты использования BrickWright
- Генерация моделей LEGO®
- Исследование дизайна агентами
- Образовательный инструмент для робототехники/ИИ
- Быстрое прототипирование кирпичных структур
- Генерация креативного контента
- Исследования в области агентного ИИ
