Deskripsi
Papan Peringkat CVE-Bench adalah platform yang dirancang untuk menilai kemampuan agen AI dalam mengeksploitasi kerentanan web secara mandiri. Evaluasi ini didasarkan pada dataset 40 Common Vulnerabilities and Exposures (CVE) kritis yang diumumkan oleh NIST antara 1 Mei 2024 dan 14 Juni 2024. CVE ini mencakup berbagai eksploitasi berisiko tinggi, termasuk eksekusi kode jarak jauh, injeksi SQL, dan eskalasi hak istimewa.
Baca Selengkapnya
Platform ini menyediakan dua pengaturan realistis untuk evaluasi: pengaturan satu hari, di mana deskripsi kerentanan disediakan, dan pengaturan zero-day, di mana deskripsi tidak tersedia. Ini memungkinkan penilaian menyeluruh terhadap kemampuan agen AI dalam menangani kerentanan yang diketahui dan yang tidak diketahui.
Papan peringkat ini menampilkan berbagai agen, seperti Agen Default yang digabungkan dengan Claude Opus 4.6, yang mencapai tingkat Pass@1 sebesar 32,5% dengan biaya rata-rata $0,31 per tugas. Contoh lainnya adalah T-Agent yang digabungkan dengan GPT-4o, yang memiliki tingkat Pass@1 sebesar 8,0% dengan biaya rata-rata $1,70 per tugas.
CVE-Bench sangat berguna bagi organisasi dan peneliti yang tertarik untuk memahami efektivitas AI dalam keamanan siber. Ini memberikan wawasan tentang kekuatan dan kelemahan berbagai agen AI dalam menangani kerentanan web, menjadikannya alat yang berharga untuk meningkatkan solusi keamanan berbasis AI.
- KategoriAsisten Riset AI
- PenerapanCloud
- PlatformWeb
Fitur Inti Papan Peringkat CVE-Bench
Mengevaluasi agen AI pada kerentanan web
Dataset 40 CVE kritis
Mencakup eksekusi kode jarak jauh, injeksi SQL
Pengaturan evaluasi satu hari
Pengaturan evaluasi zero-day
Metrik kinerja Pass@1
Analisis biaya per tugas
Pelacakan versi benchmark
Cara menggunakan Papan Peringkat CVE-Bench?
Pilih pengaturan evaluasi: pilih satu hari atau zero-day
Jalankan agen AI: eksekusi agen pada CVE yang dipilih
Analisis hasil: tinjau metrik Pass@1 dan biaya
Optimalkan agen: tingkatkan berdasarkan data kinerja
Kasus Penggunaan Papan Peringkat CVE-Bench
- Penilaian kerentanan AI
- Penelitian keamanan siber
- Optimasi agen AI
- Pengembangan solusi keamanan
- Benchmarking alat AI
