الوصف
GalaxeaVLA هو مستودع الكود المفتوح المصدر وراء G0.5، نموذج Galaxea للرؤية واللغة والعمل (VLA) للتحكم في الروبوتات بشكل عام. بدلاً من استخدام نموذج للرؤية واللغة فقط لقراءة المشهد وتسليمه إلى شبكة عمل منفصلة، يحتفظ G0.5 بنموذج VLM كممثل: يقوم مُفكك الشيفرات التحويلي بإنشاء رموز التفكير ورموز العمل في نفس التدفق التلقائي. يستضيف المستودع كود التدريب، ونقاط التفتيش المدربة مسبقًا، ونقاط دخول النشر اللازمة لتشغيل النموذج على الروبوتات الحقيقية أو في المحاكاة.
قراءة المزيد
يشترط النموذج على صور الكاميرا متعددة الزوايا، ومعرف التجسيد، وتعليمات اللغة الطبيعية، وحالة الروبوت الحسية. يمكنه أولاً إنشاء سلسلة قصيرة من التفكير المجسد (المهمة الفرعية، صندوق الحدود، أثر القبضة ثنائية الأبعاد، تلميح الحركة) ثم يستمر في إنشاء رموز العمل المنظمة في نفس التسلسل، والتي يتم فك تشفيرها إلى تحكمات مستمرة وتنفيذها في أجزاء قبل أن يتم دمج الملاحظة التالية. يقوم مُرمز العمل عبر التجسيد بربط أذرع الروبوت المختلفة وقواعد الحركة في مساحة عمل مشتركة بُعدها 27، بحيث يمكن لنقطة تفتيش واحدة قيادة تجسيدات مختلفة. يحتفظ G0.5 أيضًا بعدة ثوانٍ من التاريخ البصري من خلال آلية انتباه مكاني زمني حتى يتمكن من التفاعل مع الحركة الأخيرة، وليس فقط الإطار الحالي.
تنشر Galaxea نقاط تفتيش جاهزة للاستخدام على Hugging Face للنشر بدون تدريب على روبوتاتها البشرية R1 Lite وR1 Pro، بالإضافة إلى أذرع SO-100/101، وإعداد DROID Franka، ومعايير المحاكاة LIBERO وRoboTwin 2.0. يتضمن المستودع نصوص ضبط دقيق مبنية على نقطة التفتيش g05-base، وهيكل خادم/عميل للسياسات لتشغيل الاستدلال عبر WebSocket على أجهزة GPU وآلات الروبوت المنفصلة، ومجموعة بيانات Galaxea Open-World المرافقة التي تحتوي على عروض حقيقية للمناورة المتنقلة بتنسيقات RLDS وLeRobot.
يستهدف الباحثين والمهندسين في مجال الروبوتات الذين يرغبون في ضبط دقيق أو نشر سياسة مناورة عامة على أجهزتهم الخاصة بدلاً من بناء نموذج VLA من الصفر. يتطلب تشغيل النماذج المدربة مسبقًا وجود GPU من NVIDIA (على الأقل 8 جيجابايت للاستدلال، 70 جيجابايت أو أكثر للضبط الدقيق الكامل)، وبيئة Linux مع CUDA 12.8 وPyTorch 2.7.1، وامتدادات CUDA الأصلية مثل flash-attn. الإصدار الحالي يتجاوز خط الشيفرات السابق G0/G0Plus، الذي يحتفظ به القائمون عليه للوصول إليه فقط من خلال التزام أقدم للرجوع إليه.
- الفئةالروبوتات وعتاد الذكاء الاصطناعي
- نموذج التسعيرمفتوح المصدر
- النشرسحابي
- المنصاتLinux
الميزات الأساسية لـ GalaxeaVLA
بنية VLA التلقائية الموحدة التي تولد رموز التفكير والعمل في تيار واحد من مُفكك الشيفرات التحويلي
ActionCodec عبر التجسيد الذي يربط الأذرع والقبضات وقواعد الحركة في مساحة عمل مشتركة بُعدها 27
حقول التفكير الأصلي (المهمة الفرعية، صندوق الحدود، الأثر، تلميح العمل) لتفكيك المهام وتثبيت الكائنات
ذاكرة بصرية متعددة الثواني عبر انتباه مكاني زمني مفكك على تاريخ الكاميرا
نقطة تفتيش g05-base المدربة مسبقًا بالإضافة إلى نقاط تفتيش محددة للمهام لأذرع R1 Lite وR1 Pro وSO-100/101 وDROID وLIBERO وRoboTwin 2.0
هيكل نشر خادم/عميل: خادم سياسة على آلة GPU وعميل على جانب الروبوت عبر WebSocket وmsgpack
نصوص ضبط دقيق مع دعم توزيع البيانات المتوازي عبر torchrun
مجموعة بيانات Galaxea Open-World المرافقة (أكثر من 500 ساعة من بيانات المناورة المتنقلة الحقيقية) بتنسيقات RLDS وLeRobot
البدء مع GalaxeaVLA
التثبيت: استنساخ المستودع وإعداد البيئة باستخدام uv sync، ثم تفعيل البيئة الافتراضية
تنزيل نقاط التفتيش: سحب ملفات نموذج G05 من Hugging Face إلى مجلد checkpoints/ المحلي
بدء خادم السياسة: تشغيل scripts/serve_policy.py مع نقطة التفتيش المختارة على GPU CUDA
الاتصال بعميل الروبوت: تعيين عنوان الخادم في config.toml للتجسيد المستهدف وإطلاق عميله (R1 Lite أو R1 Pro أو SO-100/101 أو DROID)
الضبط الدقيق (اختياري): تشغيل scripts/run/finetune.sh ضد نقطة التفتيش g05-base لتكييف النموذج مع مهمة أو روبوت جديد
حالات استخدام GalaxeaVLA
- بحث في مناورة الروبوتات البشرية
- نشر ذراع منخفض التكلفة
- معايير المحاكاة
- ضبط دقيق لروبوت مخصص
