Deskripsi
Portal2Bench adalah benchmark khusus yang dirancang untuk menilai kemampuan pemecahan masalah agen AI dalam lingkungan rumit dari Portal 2 milik Valve. Platform ini mengukur seberapa efektif agen AI dapat menavigasi dan menyelesaikan serangkaian 26 ruang uji yang berbeda, diambil dari bab 2 hingga 5 dari permainan. Setiap ruang uji mewakili tantangan baru yang independen bagi agen.
Baca Selengkapnya
Metodologi inti melibatkan penghentian Portal 2 sementara model AI memproses informasi dan merumuskan tindakan berikutnya. Agen berinteraksi dengan permainan dengan mengirimkan penekanan tombol dan perubahan pandangan, menerima umpan balik waktu nyata dalam bentuk tangkapan layar dan posisi saat ini dalam dunia permainan. Untuk memastikan evaluasi yang adil dan terkontrol, agen diberikan 'folder catatan' terbatas untuk pemrosesan internal tetapi secara ketat dilarang mengakses sumber daya eksternal seperti shell, web, atau konsol.
Sebuah ruang uji dianggap 'diselesaikan' hanya jika agen AI berhasil mencapai peta berikutnya dalam batas ketat: maksimum 300 'rencana' (yang mungkin merupakan tindakan atau langkah komputasi) dan batas biaya $30, yang dihitung berdasarkan harga daftar API untuk penggunaan model. Pembatasan ganda ini menekankan efisiensi dan kelayakan ekonomi dalam kinerja agen AI.
Portal2Bench juga menangani kekhawatiran tentang 'kecurangan' dengan menerapkan pemeriksaan QA yang kuat. Agen dibatasi pada folder catatan yang ditentukan, mencegah interaksi eksternal yang tidak sah. Dalam hal 'kematian' agen dalam permainan, ia respawn di titik pemeriksaan terakhir, mencerminkan gameplay normal Portal 2, dan hanya diberitahu tentang kematiannya tanpa konteks tambahan. Benchmark ini secara eksplisit menyatakan bahwa ia tidak terafiliasi dengan atau didukung oleh Valve, memastikan fokus penelitian yang independen.
- KategoriPembuat Agen AI
- Model HargaAPI List Prices
- PenerapanCloud
- PlatformWeb
Fitur Inti Portal2Bench
Benchmark Kinerja Agen AI untuk Portal 2
Evaluasi di 26 ruang uji yang berbeda
Batas ketat pada rencana (300) dan biaya ($30) per ruang uji
Interaksi permainan waktu nyata melalui penekanan tombol dan perubahan pandangan
Input visual melalui tangkapan layar dan data posisi
Lingkungan terisolasi tanpa akses shell, web, atau konsol
Folder 'catatan' internal untuk pemrosesan agen
Mekanisme respawn di titik pemeriksaan setelah kematian agen
Harga daftar API digunakan untuk perhitungan biaya
Pemeriksaan QA untuk mencegah tindakan agen yang tidak sah
Pelacakan papan peringkat untuk berbagai model AI
Platform penelitian independen, tidak terafiliasi dengan Valve
Cara menggunakan Portal2Bench?
Pahami Tujuannya: Pelajari bahwa Portal2Bench mengevaluasi kemampuan agen AI untuk menyelesaikan ruang uji Portal 2.
Tinjau Kriteria Benchmarking: Catat bahwa keberhasilan didefinisikan dengan menyelesaikan sebuah ruang uji dalam 300 rencana dan batas biaya $30.
Amati Interaksi Agen: Lihat bagaimana agen mengirim kunci dan perubahan pandangan sambil menerima tangkapan layar dan data posisi.
Periksa Kinerja Model: Lihat papan peringkat untuk membandingkan bagaimana berbagai model AI berkinerja di benchmark.
Analisis Biaya dan Efisiensi: Periksa biaya per ruang uji, rencana per ruang uji, dan metrik waktu per ruang uji untuk mendapatkan wawasan.
Kasus Penggunaan Portal2Bench
- Evaluasi Kinerja Agen AI
- Penelitian AI Game
- Benchmarking AI Komparatif
- Analisis Biaya-Efisiensi Model AI
- Pengembangan Perencanaan dan Strategi AI






