Langsung ke konten utama
ToolPotion
Penasihat AI
Kirim (Gratis)

Portal2Bench

Aplikasi AIPembuat Agen AIAPI List Prices · Web

Portal2Bench adalah sebuah benchmark yang mengevaluasi kemampuan agen AI untuk menyelesaikan ruang uji dalam video game Portal 2. Ini mengukur kinerja agen dengan melacak tingkat keberhasilan, biaya per run, dan rencana yang dieksekusi, dengan batasan ketat pada sumber daya dan tindakan. Platform ini menyediakan lingkungan standar untuk membandingkan kemampuan pemecahan masalah berbagai model AI dalam dunia virtual yang kompleks.

Kunjungi URL
Bagikan
Tangkapan layar Portal2Bench
Tangkapan layar Portal2Bench

Portal2Bench adalah benchmark khusus yang dirancang untuk menilai kemampuan pemecahan masalah agen AI dalam lingkungan rumit dari Portal 2 milik Valve. Platform ini mengukur seberapa efektif agen AI dapat menavigasi dan menyelesaikan serangkaian 26 ruang uji yang berbeda, diambil dari bab 2 hingga 5 dari permainan. Setiap ruang uji mewakili tantangan baru yang independen bagi agen.

Baca Selengkapnya

Metodologi inti melibatkan penghentian Portal 2 sementara model AI memproses informasi dan merumuskan tindakan berikutnya. Agen berinteraksi dengan permainan dengan mengirimkan penekanan tombol dan perubahan pandangan, menerima umpan balik waktu nyata dalam bentuk tangkapan layar dan posisi saat ini dalam dunia permainan. Untuk memastikan evaluasi yang adil dan terkontrol, agen diberikan 'folder catatan' terbatas untuk pemrosesan internal tetapi secara ketat dilarang mengakses sumber daya eksternal seperti shell, web, atau konsol.

Sebuah ruang uji dianggap 'diselesaikan' hanya jika agen AI berhasil mencapai peta berikutnya dalam batas ketat: maksimum 300 'rencana' (yang mungkin merupakan tindakan atau langkah komputasi) dan batas biaya $30, yang dihitung berdasarkan harga daftar API untuk penggunaan model. Pembatasan ganda ini menekankan efisiensi dan kelayakan ekonomi dalam kinerja agen AI.

Portal2Bench juga menangani kekhawatiran tentang 'kecurangan' dengan menerapkan pemeriksaan QA yang kuat. Agen dibatasi pada folder catatan yang ditentukan, mencegah interaksi eksternal yang tidak sah. Dalam hal 'kematian' agen dalam permainan, ia respawn di titik pemeriksaan terakhir, mencerminkan gameplay normal Portal 2, dan hanya diberitahu tentang kematiannya tanpa konteks tambahan. Benchmark ini secara eksplisit menyatakan bahwa ia tidak terafiliasi dengan atau didukung oleh Valve, memastikan fokus penelitian yang independen.

  • KategoriPembuat Agen AI
  • Model HargaAPI List Prices
  • PenerapanCloud
  • PlatformWeb

  • Benchmark Kinerja Agen AI untuk Portal 2

  • Evaluasi di 26 ruang uji yang berbeda

  • Batas ketat pada rencana (300) dan biaya ($30) per ruang uji

  • Interaksi permainan waktu nyata melalui penekanan tombol dan perubahan pandangan

  • Input visual melalui tangkapan layar dan data posisi

  • Lingkungan terisolasi tanpa akses shell, web, atau konsol

  • Folder 'catatan' internal untuk pemrosesan agen

  • Mekanisme respawn di titik pemeriksaan setelah kematian agen

  • Harga daftar API digunakan untuk perhitungan biaya

  • Pemeriksaan QA untuk mencegah tindakan agen yang tidak sah

  • Pelacakan papan peringkat untuk berbagai model AI

  • Platform penelitian independen, tidak terafiliasi dengan Valve

  1. Pahami Tujuannya: Pelajari bahwa Portal2Bench mengevaluasi kemampuan agen AI untuk menyelesaikan ruang uji Portal 2.

  2. Tinjau Kriteria Benchmarking: Catat bahwa keberhasilan didefinisikan dengan menyelesaikan sebuah ruang uji dalam 300 rencana dan batas biaya $30.

  3. Amati Interaksi Agen: Lihat bagaimana agen mengirim kunci dan perubahan pandangan sambil menerima tangkapan layar dan data posisi.

  4. Periksa Kinerja Model: Lihat papan peringkat untuk membandingkan bagaimana berbagai model AI berkinerja di benchmark.

  5. Analisis Biaya dan Efisiensi: Periksa biaya per ruang uji, rencana per ruang uji, dan metrik waktu per ruang uji untuk mendapatkan wawasan.

  • Evaluasi Kinerja Agen AI
  • Penelitian AI Game
  • Benchmarking AI Komparatif
  • Analisis Biaya-Efisiensi Model AI
  • Pengembangan Perencanaan dan Strategi AI

Ulasan Portal2Bench

Memuat...

Alat AI Populer Seperti Portal2Bench

Sketch Stadium

Aplikasi AI

Sketch Stadium adalah platform online yang dirancang untuk menghubungkan dan memainkan permainan dengan agen AI. Ini menyediakan lingkungan di mana pengguna dapat mengintegrasikan…

Alat Pengembangan Game AIGaming & Esports
Lihat Alat

Aplikasi AI

Platform online yang dirancang untuk menghubungkan dan memainkan permainan dengan agen AI. Ini menyediakan lingkungan di mana pengguna dapat mengintegrasikan…Sketch Stadium adalah platform online yang dirancang untuk menghubungkan dan memainkan permainan dengan agen AI. Ini menyediakan lingkungan di mana pengguna dapat mengintegrasikan…

Alat Pengembangan Game AIGaming & Esports
Lihat Top 250 Aplikasi AI

nunu.ai mengotomatiskan pengujian game dengan agen AI, mengurangi biaya kerja manual hingga 50%. Ini menawarkan antarmuka mirip manusia dan mendukung berbagai platform,…

Peninjauan Kode & Pengujian AIGaming & Esports

Peringkat 106 di Peninjauan Kode & Pengujian AI

Lihat Alat

Mengotomatiskan pengujian game dengan agen AI, mengurangi biaya kerja manual hingga 50%. Ini menawarkan antarmuka mirip manusia dan mendukung berbagai platform,…nunu.ai mengotomatiskan pengujian game dengan agen AI, mengurangi biaya kerja manual hingga 50%. Ini menawarkan antarmuka mirip manusia dan mendukung berbagai platform,…

Peninjauan Kode & Pengujian AIGaming & Esports
Peringkat 106 di Peninjauan Kode & Pengujian AI

Otto

Aplikasi AI

Otto adalah agen AI terminal yang mengevaluasi pekerjaannya sendiri berdasarkan kriteria yang telah ditentukan. Ia beroperasi di berbagai platform, termasuk basis kode dan…

Pembuat Agen AI

Peringkat 63 di Otomatisasi Peramban & Web

Lihat Alat

Aplikasi AI

Agen AI terminal yang mengevaluasi pekerjaannya sendiri berdasarkan kriteria yang telah ditentukan. Ia beroperasi di berbagai platform, termasuk basis kode dan…Otto adalah agen AI terminal yang mengevaluasi pekerjaannya sendiri berdasarkan kriteria yang telah ditentukan. Ia beroperasi di berbagai platform, termasuk basis kode dan…

Pembuat Agen AI
Peringkat 63 di Otomatisasi Peramban & Web

Windows Agent Arena (WAA) adalah kerangka kerja open-source yang dapat diskalakan untuk mengevaluasi agen AI multi-modal pada OS Windows. Ini menyediakan lingkungan yang realistis…

Pembuat Agen AI
Lihat Alat

Kerangka kerja open-source yang dapat diskalakan untuk mengevaluasi agen AI multi-modal pada OS Windows. Ini menyediakan lingkungan yang realistis…Windows Agent Arena (WAA) adalah kerangka kerja open-source yang dapat diskalakan untuk mengevaluasi agen AI multi-modal pada OS Windows. Ini menyediakan lingkungan yang realistis…

Pembuat Agen AI
Lihat Top 50 Framework AI

Tabloy AI Agent

Aplikasi AI

Tabloy AI Agent adalah alat AI serbaguna yang membangun aplikasi, situs web, dan permainan 3D, membuat dokumen dan video, serta melakukan penelitian web. Alat ini beroperasi…

Pembuat Agen AI

Peringkat 197 di Pembuat Situs Web AI

Lihat Alat

Aplikasi AI

Alat AI serbaguna yang membangun aplikasi, situs web, dan permainan 3D, membuat dokumen dan video, serta melakukan penelitian web. Alat ini beroperasi…Tabloy AI Agent adalah alat AI serbaguna yang membangun aplikasi, situs web, dan permainan 3D, membuat dokumen dan video, serta melakukan penelitian web. Alat ini beroperasi…

Pembuat Agen AI
Peringkat 197 di Pembuat Situs Web AI

WorldClaw

Aplikasi AI

WorldClaw adalah sistem operasi untuk agen AI, menyediakan akses ke lebih dari 300 model AI melalui WorldRouter. Ini menawarkan paket token yang kompetitif dan memungkinkan…

Pembuat Agen AI

Peringkat 174 di Otomatisasi & Agen

Lihat Alat

Aplikasi AI

Sistem operasi untuk agen AI, menyediakan akses ke lebih dari 300 model AI melalui WorldRouter. Ini menawarkan paket token yang kompetitif dan memungkinkan…WorldClaw adalah sistem operasi untuk agen AI, menyediakan akses ke lebih dari 300 model AI melalui WorldRouter. Ini menawarkan paket token yang kompetitif dan memungkinkan…

Pembuat Agen AI
Peringkat 174 di Otomatisasi & Agen

modl.ai

Aplikasi AI

modl.ai menggunakan agen dan analis AI untuk mengotomatiskan pengujian game dan QA, memungkinkan tim untuk menemukan bug, glitch, dan masalah kinerja lebih cepat tanpa memerlukan…

Alat Pengembangan Game AIGaming & Esports

Peringkat 19 di Game & Hiburan

Lihat Alat

Aplikasi AI

Menggunakan agen dan analis AI untuk mengotomatiskan pengujian game dan QA, memungkinkan tim untuk menemukan bug, glitch, dan masalah kinerja lebih cepat tanpa memerlukan…modl.ai menggunakan agen dan analis AI untuk mengotomatiskan pengujian game dan QA, memungkinkan tim untuk menemukan bug, glitch, dan masalah kinerja lebih cepat tanpa memerlukan…

Alat Pengembangan Game AIGaming & Esports
Peringkat 19 di Game & Hiburan

Cadenya

Aplikasi AI

Cadenya adalah platform runtime agen yang mengintegrasikan alat, agen, dan tujuan untuk meningkatkan pengujian dan efisiensi. Ini memungkinkan pengguna untuk membangun dan…

Pembuat Agen AI
Lihat Alat

Aplikasi AI

Platform runtime agen yang mengintegrasikan alat, agen, dan tujuan untuk meningkatkan pengujian dan efisiensi. Ini memungkinkan pengguna untuk membangun dan…Cadenya adalah platform runtime agen yang mengintegrasikan alat, agen, dan tujuan untuk meningkatkan pengujian dan efisiensi. Ini memungkinkan pengguna untuk membangun dan…

Pembuat Agen AI
Lihat Top 250 Aplikasi AI
1 dari 8