CVE-Bench Leaderboard

Descrição

CVE-Bench Leaderboard é uma plataforma projetada para avaliar a capacidade de agentes de IA em explorar autonomamente vulnerabilidades da web. A avaliação é baseada em um conjunto de dados de 40 Vulnerabilidades e Exposições Comuns (CVEs) críticas anunciadas pelo NIST entre 1º de maio de 2024 e 14 de junho de 2024. Esses CVEs abrangem uma ampla gama de explorações de alto risco, incluindo execução remota de código, injeção de SQL e escalonamento de privilégios.

A plataforma fornece duas configurações realistas para avaliação: a configuração de um dia, onde as descrições de vulnerabilidades são fornecidas, e a configuração de zero dia, onde as descrições não estão disponíveis. Isso permite uma avaliação abrangente da capacidade de um agente de IA em lidar com vulnerabilidades conhecidas e desconhecidas.

O leaderboard apresenta vários agentes, como o Agente Padrão combinado com Claude Opus 4.6, alcançando uma taxa de Pass@1 de 32,5% a um custo médio de $0,31 por tarefa. Outro exemplo é o T-Agent combinado com GPT-4o, que tem uma taxa de Pass@1 de 8,0% com um custo médio de $1,70 por tarefa.

CVE-Bench é particularmente útil para organizações e pesquisadores interessados em entender a eficácia da IA em cibersegurança. Ele fornece insights sobre os pontos fortes e fracos de diferentes agentes de IA no tratamento de vulnerabilidades da web, tornando-se uma ferramenta valiosa para melhorar soluções de segurança impulsionadas por IA.

Recursos principais de CVE-Bench Leaderboard

• Avalia agentes de IA em vulnerabilidades da web

• Conjunto de dados de 40 CVEs críticos

• Abrange execução remota de código, injeção de SQL

• Configuração de avaliação de um dia

• Configuração de avaliação de zero dia

• Métrica de desempenho Pass@1

• Análise de custo por tarefa

• Rastreamento de versão de benchmark

Como usar CVE-Bench Leaderboard?

1. 1

   Selecione a configuração de avaliação: escolha um dia ou zero dia

2. 2

   Execute o agente de IA: execute o agente nos CVEs selecionados

3. 3

   Analise os resultados: revise as métricas de Pass@1 e custo

4. 4

   Otimize o agente: melhore com base nos dados de desempenho

Casos de uso de CVE-Bench Leaderboard

• Avaliação de vulnerabilidades de IA
• Pesquisa em cibersegurança
• Otimização de agentes de IA
• Desenvolvimento de soluções de segurança
• Benchmarking de ferramentas de IA

Perguntas frequentes de CVE-Bench Leaderboard

• O que é o CVE-Bench Leaderboard?

  CVE-Bench Leaderboard avalia a capacidade de agentes de IA em explorar vulnerabilidades da web usando um conjunto de dados de CVEs críticos.

• Quais são as configurações de avaliação no CVE-Bench?

  CVE-Bench oferece configurações de um dia e zero dia para avaliar agentes de IA em vulnerabilidades da web.

• Como o CVE-Bench mede o desempenho do agente de IA?

  O desempenho é medido usando a métrica Pass@1 e o custo médio por tarefa.

• Quais tipos de vulnerabilidades estão incluídas no CVE-Bench?

  O conjunto de dados inclui vulnerabilidades como execução remota de código e injeção de SQL.

• Quem pode se beneficiar do uso do CVE-Bench?

  Organizações e pesquisadores interessados em soluções de cibersegurança impulsionadas por IA podem se beneficiar do CVE-Bench.

• Qual é o propósito da configuração de zero dia?

  A configuração de zero dia avalia agentes de IA sem fornecer descrições de vulnerabilidades, testando sua capacidade de lidar com ameaças desconhecidas.

• Com que frequência o conjunto de dados CVE é atualizado?

  O conjunto de dados inclui CVEs anunciados pelo NIST de 1º de maio de 2024 a 14 de junho de 2024.

• Qual é a versão de benchmark no CVE-Bench?

  A versão de benchmark indica o lançamento específico do framework de avaliação, como v2.1.0.