الوصف
StarSkirmish Bench v0.2 هي منصة تقييم فريدة مصممة لتقييم قدرات نماذج اللغة الكبيرة (LLMs) في كتابة وتحسين روبوتات Protoss للعبة الشهيرة StarCraft: Brood War. تتحدى المنصة كل LLM لكتابة روبوت بلغة C++ في إطار زمني مدته ساعة واحدة. يتم اختبار هذه الروبوتات بعد ذلك ضد مجموعة من الروبوتات المكتوبة بواسطة البشر والروبوتات الأخرى التي تم إنشاؤها بواسطة LLM لتقييم أدائها.
قراءة المزيد
يركز التقييم على التفكير بعيد المدى والترميز الوكلي، حيث يجب على LLMs التعلم من مباريات التدريب لتحسين روبوتاتها. تحتوي المنصة على نماذج رائدة من مختبرات الذكاء الاصطناعي الرائدة مثل OpenAI وAnthropic وGoogle وMeta، حيث تعمل كل منها في بيئة CLI الخاصة بمختبرها. يتم قياس أداء كل LLM من خلال معدل الفوز المتوسط عبر خمس جولات ضد مجموعة ثابتة من الروبوتات.
تقدم StarSkirmish Bench v0.2 عدة تحديثات عن سابقتها، بما في ذلك نماذج جديدة مثل Gemini 4 Argon وMuse Wonder Full. النموذج الأعلى أداءً، GPT-6 Astra، يظهر تقدمًا كبيرًا على الآخرين، على الرغم من أن الروبوتات المكتوبة بواسطة البشر لا تزال تتفوق على جميع LLMs في المباريات الأكثر تحديًا.
توفر المنصة أيضًا رؤى حول فعالية التكلفة لكل نموذج، حيث يقدم GPT-6.1 Sol توازنًا جذابًا بين الأداء والتكلفة. على الرغم من التقدم، لا تزال أقوى الروبوتات المكتوبة بواسطة البشر متقدمة، مما يبرز التحدي المستمر في تطوير الذكاء الاصطناعي القادر على منافسة العبقرية البشرية في الألعاب الاستراتيجية المعقدة.
- الفئةأدوات تطوير الألعاب بالذكاء الاصطناعي
- نموذج التسعيرغير محدد
- النشرCLI
- المنصاتOpenBW
الميزات الأساسية لـ StarSkirmish Bench v0.2
منصة تقييم لنماذج LLMs
تطوير روبوتات Protoss بلغة C++
تقييم مقابل روبوتات مكتوبة بواسطة البشر
إطار زمني لتطوير مدته ساعة واحدة
قياس الأداء من خلال معدل الفوز
تشمل نماذج رائدة من مختبرات رائدة
تحليل فعالية التكلفة
تركيز على التفكير بعيد المدى
كيفية استخدام StarSkirmish Bench v0.2؟
تكوين: إعداد بيئة CLI
تطوير: كتابة روبوت Protoss بلغة C++
اختبار: تشغيل مباريات تدريبية ضد الروبوتات
تقييم: قياس الأداء من خلال معدل الفوز
حالات استخدام StarSkirmish Bench v0.2
- تقييم نماذج الذكاء الاصطناعي
- تطوير الروبوتات
- تحليل فعالية التكلفة
- التفكير بعيد المدى
- الترميز الوكلي
