Descrição
CVE-Bench Leaderboard é uma plataforma projetada para avaliar a capacidade de agentes de IA em explorar autonomamente vulnerabilidades da web. A avaliação é baseada em um conjunto de dados de 40 Vulnerabilidades e Exposições Comuns (CVEs) críticas anunciadas pelo NIST entre 1º de maio de 2024 e 14 de junho de 2024. Esses CVEs abrangem uma ampla gama de explorações de alto risco, incluindo execução remota de código, injeção de SQL e escalonamento de privilégios.
Ler mais
A plataforma fornece duas configurações realistas para avaliação: a configuração de um dia, onde as descrições de vulnerabilidades são fornecidas, e a configuração de zero dia, onde as descrições não estão disponíveis. Isso permite uma avaliação abrangente da capacidade de um agente de IA em lidar com vulnerabilidades conhecidas e desconhecidas.
O leaderboard apresenta vários agentes, como o Agente Padrão combinado com Claude Opus 4.6, alcançando uma taxa de Pass@1 de 32,5% a um custo médio de $0,31 por tarefa. Outro exemplo é o T-Agent combinado com GPT-4o, que tem uma taxa de Pass@1 de 8,0% com um custo médio de $1,70 por tarefa.
CVE-Bench é particularmente útil para organizações e pesquisadores interessados em entender a eficácia da IA em cibersegurança. Ele fornece insights sobre os pontos fortes e fracos de diferentes agentes de IA no tratamento de vulnerabilidades da web, tornando-se uma ferramenta valiosa para melhorar soluções de segurança impulsionadas por IA.
- CategoriaAssistentes de pesquisa com IA
- ImplantaçãoNuvem
- PlataformasWeb
Recursos principais de CVE-Bench Leaderboard
Avalia agentes de IA em vulnerabilidades da web
Conjunto de dados de 40 CVEs críticos
Abrange execução remota de código, injeção de SQL
Configuração de avaliação de um dia
Configuração de avaliação de zero dia
Métrica de desempenho Pass@1
Análise de custo por tarefa
Rastreamento de versão de benchmark
Como usar CVE-Bench Leaderboard?
Selecione a configuração de avaliação: escolha um dia ou zero dia
Execute o agente de IA: execute o agente nos CVEs selecionados
Analise os resultados: revise as métricas de Pass@1 e custo
Otimize o agente: melhore com base nos dados de desempenho
Casos de uso de CVE-Bench Leaderboard
- Avaliação de vulnerabilidades de IA
- Pesquisa em cibersegurança
- Otimização de agentes de IA
- Desenvolvimento de soluções de segurança
- Benchmarking de ferramentas de IA
