Descripción
EvalCore está diseñado para ayudar a los desarrolladores a saber cuándo su IA empeora antes de que los usuarios lo noten. Ofrece pruebas de instantáneas para el comportamiento de la IA, permitiendo a los usuarios grabar cómo se comporta su aplicación o agente LLM y luego reproducir esa grabación en integración continua (CI) en cada cambio. Este proceso es fuera de línea, determinista y completamente gratuito.
Leer más
Con EvalCore, los desarrolladores pueden verificar fácilmente si cambios como modificar un aviso, intercambiar un modelo o actualizar una dependencia han causado algún problema. La herramienta graba el comportamiento de la IA y verifica cada cambio contra los datos grabados, asegurando que cualquier regresión se detecte temprano. La configuración es sencilla, requiriendo solo un pequeño binario que funciona con cualquier lenguaje de programación, eliminando la necesidad de un arnés de prueba o SDK.
La primera ejecución de EvalCore llama al modelo real y graba cada solicitud y respuesta en una cinta local de SQLite. Esta cinta se basa en un hash de la solicitud canónica, lo que permite un seguimiento fácil de tokens y costos. Cada ejecución subsiguiente en CI reproduce la cinta, asegurando que entradas idénticas produzcan salidas idénticas, bloqueando así las regresiones de manera efectiva. Esto significa que los desarrolladores pueden ejecutar pruebas sin necesidad de acceso a la red o claves de API, haciendo que el proceso sea más confiable y eficiente.
EvalCore es compatible con varios modelos y APIs, incluyendo OpenAI, vLLM y Ollama, así como APIs REST personalizadas y comandos de shell. Esta flexibilidad permite a los desarrolladores enviar su primera evaluación en minutos sin ninguna dependencia. La herramienta es de código abierto bajo la licencia Apache-2.0, lo que la hace accesible para cualquiera que busque mejorar sus aplicaciones de IA.
- CategoríaRevisión de código y pruebas con IA
- Modelo de preciosGratis
- ImplementaciónSin conexión
- PlataformasmacOS, Linux, CI runners
Características principales de EvalCore
Pruebas de instantáneas para el comportamiento de la IA
Reproducción fuera de línea
Resultados deterministas
No se requiere SDK ni arnés de prueba
Graba solicitudes y respuestas
Compatible con OpenAI y otras APIs
Almacenamiento local de cintas SQLite
Gratis para usar en CI
¿Cómo usar EvalCore?
Configurar: Apunta un objetivo a tu aplicación y lista el conjunto de datos.
Ejecutar: Ejecuta el comando para grabar el comportamiento de la IA.
Reproducir: Usa la cinta grabada en CI para verificar regresiones.
Guardar: Guarda la cinta para pruebas futuras.
Casos de uso de EvalCore
- Pruebas de regresión
- Monitoreo de comportamiento
- Comparación de modelos
- Pruebas de integración
- Seguimiento de costos
