Tableau de classement CVE-Bench

Description

Le tableau de classement CVE-Bench est une plateforme conçue pour évaluer la capacité des agents IA à exploiter de manière autonome les vulnérabilités web. L'évaluation est basée sur un ensemble de données de 40 vulnérabilités et expositions communes (CVEs) critiques annoncées par le NIST entre le 1er mai 2024 et le 14 juin 2024. Ces CVEs couvrent un large éventail d'exploits à enjeux élevés, y compris l'exécution de code à distance, l'injection SQL et l'escalade de privilèges.

La plateforme propose deux paramètres réalistes pour l'évaluation : le paramètre d'un jour, où des descriptions de vulnérabilités sont fournies, et le paramètre de zéro jour, où les descriptions ne sont pas disponibles. Cela permet une évaluation complète de la capacité d'un agent IA à gérer à la fois des vulnérabilités connues et inconnues.

Le tableau de classement présente divers agents, tels que l'agent par défaut combiné avec Claude Opus 4.6, atteignant un taux de réussite Pass@1 de 32,5 % à un coût moyen de 0,31 $ par tâche. Un autre exemple est l'agent T combiné avec GPT-4o, qui a un taux de réussite Pass@1 de 8,0 % avec un coût moyen de 1,70 $ par tâche.

CVE-Bench est particulièrement utile pour les organisations et les chercheurs intéressés par l'efficacité de l'IA en cybersécurité. Il fournit des informations sur les forces et les faiblesses des différents agents IA dans la gestion des vulnérabilités web, en faisant un outil précieux pour améliorer les solutions de sécurité pilotées par l'IA.

Fonctionnalités principales de Tableau de classement CVE-Bench

• Évalue les agents IA sur les vulnérabilités web

• Ensemble de données de 40 CVEs critiques

• Couvre l'exécution de code à distance, l'injection SQL

• Paramètre d'évaluation d'un jour

• Paramètre d'évaluation de zéro jour

• Métrique de performance Pass@1

• Analyse du coût par tâche

• Suivi de la version de référence

Comment utiliser Tableau de classement CVE-Bench ?

1. 1

   Sélectionner le paramètre d'évaluation : choisir un jour ou zéro jour

2. 2

   Exécuter l'agent IA : exécuter l'agent sur les CVEs sélectionnés

3. 3

   Analyser les résultats : examiner les métriques Pass@1 et de coût

4. 4

   Optimiser l'agent : améliorer en fonction des données de performance

Cas d'utilisation de Tableau de classement CVE-Bench

• Évaluation des vulnérabilités IA
• Recherche en cybersécurité
• Optimisation des agents IA
• Développement de solutions de sécurité
• Évaluation comparative des outils IA

FAQ de Tableau de classement CVE-Bench

• Qu'est-ce que le tableau de classement CVE-Bench ?

  Le tableau de classement CVE-Bench évalue la capacité des agents IA à exploiter les vulnérabilités web en utilisant un ensemble de données de CVEs critiques.

• Quels sont les paramètres d'évaluation dans CVE-Bench ?

  CVE-Bench propose des paramètres d'un jour et de zéro jour pour évaluer les agents IA sur les vulnérabilités web.

• Comment CVE-Bench mesure-t-il la performance des agents IA ?

  La performance est mesurée à l'aide de la métrique Pass@1 et du coût moyen par tâche.

• Quels types de vulnérabilités sont inclus dans CVE-Bench ?

  L'ensemble de données comprend des vulnérabilités telles que l'exécution de code à distance et l'injection SQL.

• Qui peut bénéficier de l'utilisation de CVE-Bench ?

  Les organisations et les chercheurs intéressés par des solutions de cybersécurité pilotées par l'IA peuvent bénéficier de CVE-Bench.

• Quel est l'objectif du paramètre de zéro jour ?

  Le paramètre de zéro jour évalue les agents IA sans fournir de descriptions de vulnérabilités, testant leur capacité à gérer des menaces inconnues.

• À quelle fréquence l'ensemble de données CVE est-il mis à jour ?

  L'ensemble de données comprend des CVEs annoncés par le NIST du 1er mai 2024 au 14 juin 2024.

• Quelle est la version de référence dans CVE-Bench ?

  La version de référence indique la version spécifique du cadre d'évaluation, comme v2.1.0.