Deskripsi
BrickWright adalah sistem yang dirancang untuk memungkinkan agen pengkodean yang telah dilatih sebelumnya untuk menghasilkan bangunan LEGO® yang berkualitas tinggi dan fisik yang layak dari berbagai prompt, termasuk teks dan gambar. Inovasi inti terletak pada penyediaan alat programatik bagi agen untuk menciptakan dan memvalidasi konstruksi bata. Alat ini, yang disebut BrickLayer, adalah paket Python yang memungkinkan agen untuk menulis kode untuk merakit dan memverifikasi model LEGO®.
Baca Selengkapnya
Sistem ini membimbing agen melalui siklus rencana-eksekusi-validasi, di mana mereka menulis dan merevisi file Python untuk membangun sebuah bangunan. Komponen kunci dari API BrickLayer mencakup fungsionalitas untuk menemukan bagian berdasarkan kata kunci, merakit geometri dengan menyusun bagian dan sub-bangunan dengan penempatan yang tepat atau penyelarasan otomatis, dan memeriksa kelayakan fisik dengan mengidentifikasi tabrakan, bagian yang melayang, dan komponen yang terhubung. Agen diberikan alat seperti `validate`, `render`, dan `finalize` untuk memfasilitasi proses ini. Alat `validate` memberikan umpan balik tentang kelayakan fisik, sementara `render` memungkinkan inspeksi visual. Setelah semua tes kelayakan lulus dan agen merasa puas, ia memanggil `finalize` untuk menyelesaikan bangunan.
BrickWright secara signifikan meningkatkan kualitas bangunan yang dihasilkan agen, mengurangi pelanggaran fisik dibandingkan dengan agen yang menggunakan alat umum. Ini juga mengungguli model teks-ke-bata khusus seperti BrickGPT dan BrickNet dalam hal validitas keseluruhan, konektivitas, dan kepatuhan terhadap prompt. Sistem ini sangat efektif untuk agen ringan, secara dramatis meningkatkan kinerja mereka. Misalnya, ini meningkatkan validitas fisik GPT-6 Luna dari 9% menjadi 100% sambil meningkatkan kepatuhan terhadap prompt, dengan biaya yang jauh lebih rendah dibandingkan model perbatasan. BrickWright dirancang untuk kompatibel dengan backend agen mana pun, dan kodenya tersedia secara terbuka di GitHub.
Motivasi di balik BrickWright berasal dari pengamatan bahwa meskipun agen pengkodean perbatasan semakin mahir dalam memodelkan objek 3D, termasuk bangunan bata, mereka masih kesulitan dalam menciptakan struktur yang fisik layak. Sebuah bangunan didefinisikan sebagai fisik layak jika hanya menggunakan bagian nyata, tidak memiliki komponen yang bertabrakan atau melayang, dan membentuk struktur yang terhubung. BrickWright mengatasi tantangan ini dengan mengintegrasikan pendekatan terstruktur berbasis kode yang memastikan model yang dihasilkan mematuhi batasan fisik dunia nyata, menghasilkan kreasi LEGO® yang lebih realistis dan dapat digunakan.
- KategoriAlat Pengembangan Game AI
- Model HargaOpen source
- PenerapanGitHub (Code Available)
- PlatformWeb
Fitur Inti BrickWright
Generasi Bangunan LEGO® Agen: Memungkinkan agen pengkodean untuk membuat bangunan LEGO® dari teks atau gambar.
Bangunan Fisik Layak: Menghasilkan model dengan bagian LEGO® nyata, tanpa tabrakan, tanpa bagian yang melayang, dan komponen yang terhubung.
Alat Programatik (BrickLayer): Menyediakan paket Python untuk pembuatan dan validasi bangunan bata.
Generasi Berbasis Kode: Membimbing agen untuk menulis kode Python untuk membangun dan merevisi model LEGO®.
Penemuan Bagian: Memungkinkan pencarian katalog bagian berdasarkan kata kunci dan penyaringan berdasarkan bidang metadata.
Perakitan Geometri: Menyusun bagian dan sub-bangunan dengan pose yang tepat atau penyelarasan konektor otomatis.
Pemeriksaan Kelayakan Fisik: Mengidentifikasi tabrakan, bagian yang melayang, dan komponen yang terhubung.
Siklus Rencana-Eksekusi-Validasi: Agen secara iteratif menulis, memvalidasi, dan merender bangunan.
Alat Validasi: Memberikan umpan balik tentang kelayakan fisik dan tes kustom.
Alat Render: Memungkinkan inspeksi visual dari bangunan yang dihasilkan.
Alat Finalisasi: Menyelesaikan proses pembangunan setelah semua tes lulus dan render memuaskan.
Peningkatan Kinerja Agen: Secara signifikan meningkatkan kualitas bangunan dan validitas fisik untuk berbagai backend agen.
Efektif Biaya untuk Agen Ringan: Meningkatkan kinerja untuk model ringan dengan biaya rendah.
Mengungguli Model Khusus: Mencapai validitas keseluruhan, konektivitas, dan kepatuhan terhadap prompt yang lebih baik dibandingkan model teks-ke-bata khusus.
Ketersediaan di GitHub: Kode tersedia di GitHub untuk akses dan integrasi yang lebih luas.
Cara menggunakan BrickWright?
Berikan Prompt: Masukkan prompt teks atau gambar yang menggambarkan bangunan LEGO® yang diinginkan.
Agen Menulis Kode: Agen yang telah dilatih sebelumnya menggunakan API BrickLayer untuk menulis kode Python untuk bangunan.
Validasi Bangunan: Agen memanggil alat `validate` untuk memeriksa kelayakan fisik (tabrakan, bagian yang melayang, konektivitas) dan tes kustom.
Inspeksi dan Revisi: Agen menggunakan alat `render` untuk inspeksi visual dan merevisi kode Python berdasarkan umpan balik validasi.
Finalisasi Kreasi: Setelah semua tes kelayakan lulus dan agen puas dengan render, ia memanggil `finalize` untuk menyelesaikan bangunan.
Kasus Penggunaan BrickWright
- Generasi Model LEGO®
- Eksplorasi Desain Agen
- Alat Pendidikan untuk Robotika/AI
- Prototipe Cepat Struktur Bata
- Generasi Konten Kreatif
- Penelitian dalam AI Agen
