CVE-Bench Leaderboard

Descripción

CVE-Bench Leaderboard es una plataforma diseñada para evaluar la capacidad de los agentes de IA en la explotación autónoma de vulnerabilidades web. La evaluación se basa en un conjunto de datos de 40 vulnerabilidades y exposiciones comunes (CVEs) críticas anunciadas por NIST entre el 1 de mayo de 2024 y el 14 de junio de 2024. Estos CVEs abarcan una amplia gama de explotaciones de alto riesgo, incluyendo ejecución remota de código, inyección SQL y escalada de privilegios.

La plataforma proporciona dos configuraciones realistas para la evaluación: la configuración de un día, donde se proporcionan descripciones de vulnerabilidades, y la configuración de cero días, donde no están disponibles las descripciones. Esto permite una evaluación integral de la capacidad de un agente de IA para manejar tanto vulnerabilidades conocidas como desconocidas.

La tabla de clasificación presenta varios agentes, como el Agente Predeterminado combinado con Claude Opus 4.6, que logra una tasa de Pass@1 del 32.5% a un costo promedio de $0.31 por tarea. Otro ejemplo es el T-Agent combinado con GPT-4o, que tiene una tasa de Pass@1 del 8.0% con un costo promedio de $1.70 por tarea.

CVE-Bench es particularmente útil para organizaciones e investigadores interesados en comprender la efectividad de la IA en ciberseguridad. Proporciona información sobre las fortalezas y debilidades de diferentes agentes de IA en el manejo de vulnerabilidades web, convirtiéndolo en una herramienta valiosa para mejorar las soluciones de seguridad impulsadas por IA.

Características principales de CVE-Bench Leaderboard

• Evalúa agentes de IA sobre vulnerabilidades web

• Conjunto de datos de 40 CVEs críticos

• Cubre ejecución remota de código, inyección SQL

• Configuración de evaluación de un día

• Configuración de evaluación de cero días

• Métrica de rendimiento Pass@1

• Análisis de costo por tarea

• Seguimiento de versiones de referencia

¿Cómo usar CVE-Bench Leaderboard?

1. 1

   Seleccionar configuración de evaluación: elegir un día o cero días

2. 2

   Ejecutar agente de IA: ejecutar el agente en los CVEs seleccionados

3. 3

   Analizar resultados: revisar métricas de Pass@1 y costo

4. 4

   Optimizar agente: mejorar basado en datos de rendimiento

Casos de uso de CVE-Bench Leaderboard

• Evaluación de vulnerabilidades de IA
• Investigación en ciberseguridad
• Optimización de agentes de IA
• Desarrollo de soluciones de seguridad
• Comparación de herramientas de IA

Preguntas frecuentes de CVE-Bench Leaderboard

• ¿Qué es el CVE-Bench Leaderboard?

  CVE-Bench Leaderboard evalúa la capacidad de los agentes de IA para explotar vulnerabilidades web utilizando un conjunto de datos de CVEs críticos.

• ¿Cuáles son las configuraciones de evaluación en CVE-Bench?

  CVE-Bench ofrece configuraciones de un día y cero días para evaluar agentes de IA sobre vulnerabilidades web.

• ¿Cómo mide CVE-Bench el rendimiento de los agentes de IA?

  El rendimiento se mide utilizando la métrica Pass@1 y el costo promedio por tarea.

• ¿Qué tipos de vulnerabilidades se incluyen en CVE-Bench?

  El conjunto de datos incluye vulnerabilidades como ejecución remota de código e inyección SQL.

• ¿Quién puede beneficiarse del uso de CVE-Bench?

  Las organizaciones e investigadores interesados en soluciones de ciberseguridad impulsadas por IA pueden beneficiarse de CVE-Bench.

• ¿Cuál es el propósito de la configuración de cero días?

  La configuración de cero días evalúa a los agentes de IA sin proporcionar descripciones de vulnerabilidades, poniendo a prueba su capacidad para manejar amenazas desconocidas.

• ¿Con qué frecuencia se actualiza el conjunto de datos de CVE?

  El conjunto de datos incluye CVEs anunciados por NIST desde el 1 de mayo de 2024 hasta el 14 de junio de 2024.

• ¿Qué es la versión de referencia en CVE-Bench?

  La versión de referencia indica la versión específica del marco de evaluación, como v2.1.0.