Descrição
EvalCore foi projetado para ajudar os desenvolvedores a saber quando sua IA piora antes que os usuários percebam. Ele oferece testes de instantâneas para o comportamento da IA, permitindo que os usuários registrem como seu aplicativo ou agente LLM se comporta e, em seguida, reproduzam essa gravação na integração contínua (CI) a cada alteração. Esse processo é offline, determinístico e completamente gratuito.
Ler mais
Com o EvalCore, os desenvolvedores podem facilmente verificar se alterações, como modificar um prompt, trocar um modelo ou atualizar uma dependência, causaram algum problema. A ferramenta registra o comportamento da IA e verifica cada alteração em relação aos dados gravados, garantindo que quaisquer regressões sejam detectadas precocemente. A configuração é simples, exigindo apenas um pequeno binário que funciona com qualquer linguagem de programação, eliminando a necessidade de um test harness ou SDK.
A primeira execução do EvalCore chama o modelo real e registra cada solicitação e resposta em uma cassete SQLite local. Essa cassete é indexada em um hash da solicitação canônica, permitindo o rastreamento fácil de tokens e custos. Cada execução subsequente em CI reproduz a cassete, garantindo que entradas idênticas produzam saídas idênticas, bloqueando assim regressões de forma eficaz. Isso significa que os desenvolvedores podem executar testes sem precisar de acesso à rede ou chaves de API, tornando o processo mais confiável e eficiente.
EvalCore é compatível com vários modelos e APIs, incluindo OpenAI, vLLM e Ollama, bem como APIs REST personalizadas e comandos de shell. Essa flexibilidade permite que os desenvolvedores realizem sua primeira avaliação em minutos, sem quaisquer dependências. A ferramenta é de código aberto sob a licença Apache-2.0, tornando-a acessível para qualquer pessoa que deseje melhorar suas aplicações de IA.
- CategoriaRevisão de código e testes com IA
- Modelo de preçosGrátis
- ImplantaçãoOffline
- PlataformasmacOS, Linux, CI runners
Recursos principais de EvalCore
Testes de instantâneas para o comportamento da IA
Reprodução offline
Resultados determinísticos
Sem SDK ou test harness necessário
Registra solicitações e respostas
Compatível com OpenAI e outras APIs
Armazenamento local de cassete SQLite
Gratuito para uso em CI
Como usar EvalCore?
Configurar: Aponte um alvo para seu aplicativo e liste o conjunto de dados.
Executar: Execute o comando para registrar o comportamento da IA.
Reproduzir: Use a cassete gravada em CI para verificar regressões.
Salvar: Salve a cassete para testes futuros.
Casos de uso de EvalCore
- Teste de Regressão
- Monitoramento de Comportamento
- Comparação de Modelos
- Teste de Integração
- Rastreamento de Custos
