Deskripsi
StarSkirmish Bench v0.2 adalah platform benchmarking unik yang dirancang untuk mengevaluasi kemampuan model bahasa besar (LLM) dalam menulis dan mengoptimalkan bot Protoss untuk permainan ikonik StarCraft: Brood War. Platform ini menantang setiap LLM untuk menulis bot dalam C++ dalam waktu satu jam. Bot-bot ini kemudian diuji melawan daftar bot yang ditulis manusia yang kompetitif dan bot yang dihasilkan LLM lainnya untuk menilai kinerjanya.
Baca Selengkapnya
Evaluasi berfokus pada penalaran jangka panjang dan pengkodean agensi, karena LLM harus belajar dari permainan latihan untuk meningkatkan bot mereka. Platform ini menampilkan model-model unggulan dari laboratorium AI terkemuka seperti OpenAI, Anthropic, Google, dan Meta, masing-masing berjalan di dalam kerangka CLI pihak pertama laboratoriumnya. Kinerja setiap LLM diukur berdasarkan rata-rata tingkat kemenangan mereka dalam lima kali percobaan melawan daftar bot yang tetap.
StarSkirmish Bench v0.2 memperkenalkan beberapa pembaruan dari pendahulunya, termasuk model-model baru seperti Gemini 4 Argon dan Muse Wonder Full. Model dengan kinerja terbaik, GPT-6 Astra, menunjukkan keunggulan signifikan dibandingkan yang lain, meskipun bot yang ditulis manusia masih mengungguli semua LLM dalam pertandingan yang paling menantang.
Platform ini juga memberikan wawasan tentang efisiensi biaya setiap model, dengan GPT-6.1 Sol menawarkan keseimbangan yang menarik antara kinerja dan biaya. Meskipun ada kemajuan, bot yang ditulis manusia yang terkuat tetap berada di depan, menyoroti tantangan yang terus berlanjut dalam mengembangkan AI yang mampu menyamai kecerdikan manusia dalam permainan strategis yang kompleks.
- KategoriAlat Pengembangan Game AI
- Model HargaTidak ditentukan
- PenerapanCLI
- PlatformOpenBW
Fitur Inti StarSkirmish Bench v0.2
Platform benchmarking untuk LLM
Pengembangan bot Protoss dalam C++
Evaluasi terhadap bot yang ditulis manusia
Waktu pengembangan satu jam
Kinerja diukur berdasarkan tingkat kemenangan
Termasuk model unggulan dari laboratorium teratas
Analisis efisiensi biaya
Fokus pada penalaran jangka panjang
Cara menggunakan StarSkirmish Bench v0.2?
Konfigurasi: Siapkan kerangka CLI
Kembangkan: Tulis bot Protoss dalam C++
Uji: Jalankan permainan latihan melawan bot
Evaluasi: Ukur kinerja berdasarkan tingkat kemenangan
Kasus Penggunaan StarSkirmish Bench v0.2
- Evaluasi Model AI
- Pengembangan Bot
- Analisis Efisiensi Biaya
- Penalaran Jangka Panjang
- Pengkodean Agensi
