Beschreibung
EvalCore wurde entwickelt, um Entwicklern zu helfen, zu erkennen, wann ihre KI schlechter wird, bevor die Benutzer es bemerken. Es bietet Snapshot-Tests für das Verhalten von KI, sodass Benutzer aufzeichnen können, wie ihre LLM-Anwendung oder ihr Agent funktioniert, und diese Aufzeichnung dann in der kontinuierlichen Integration (CI) bei jeder Änderung wiedergeben können. Dieser Prozess ist offline, deterministisch und völlig kostenlos.
Weiterlesen
Mit EvalCore können Entwickler leicht überprüfen, ob Änderungen wie das Ändern eines Prompts, das Tauschen eines Modells oder das Aktualisieren einer Abhängigkeit Probleme verursacht haben. Das Tool zeichnet das Verhalten der KI auf und überprüft jede Änderung anhand der aufgezeichneten Daten, um sicherzustellen, dass Rückschritte frühzeitig erkannt werden. Die Einrichtung ist unkompliziert und erfordert nur eine kleine Binärdatei, die mit jeder Programmiersprache funktioniert, wodurch die Notwendigkeit eines Testgerüsts oder SDKs entfällt.
Der erste Durchlauf von EvalCore ruft das echte Modell auf und zeichnet jede Anfrage und Antwort in einer lokalen SQLite-Kassette auf. Diese Kassette wird anhand eines Hashs der kanonischen Anfrage indiziert, was eine einfache Verfolgung von Tokens und Kosten ermöglicht. Jeder nachfolgende Durchlauf in der CI spielt die Kassette ab und stellt sicher, dass identische Eingaben identische Ausgaben erzeugen, wodurch Rückschritte effektiv blockiert werden. Das bedeutet, dass Entwickler Tests durchführen können, ohne Netzwerkzugang oder API-Schlüssel zu benötigen, was den Prozess zuverlässiger und effizienter macht.
EvalCore ist mit verschiedenen Modellen und APIs kompatibel, einschließlich OpenAI, vLLM und Ollama, sowie mit benutzerdefinierten REST-APIs und Shell-Befehlen. Diese Flexibilität ermöglicht es Entwicklern, ihre erste Bewertung innerhalb von Minuten ohne Abhängigkeiten zu erstellen. Das Tool ist Open Source unter der Apache-2.0-Lizenz und somit für jeden zugänglich, der seine KI-Anwendungen verbessern möchte.
- KategorieKI-Code-Review & -Testing
- PreismodellKostenlos
- BereitstellungOffline
- PlattformenmacOS, Linux, CI-Runners
EvalCore's Kernfunktionen
Snapshot-Tests für das Verhalten von KI
Offline-Wiedergabe
Deterministische Ergebnisse
Kein SDK oder Testgerüst erforderlich
Aufzeichnung von Anfragen und Antworten
Kompatibel mit OpenAI und anderen APIs
Lokale SQLite-Kassettenspeicherung
Kostenlos in der CI nutzbar
Wie verwendet man EvalCore?
Konfigurieren: Richten Sie ein Ziel für Ihre Anwendung ein und listen Sie den Datensatz auf.
Ausführen: Führen Sie den Befehl aus, um das Verhalten der KI aufzuzeichnen.
Wiedergabe: Verwenden Sie die aufgezeichnete Kassette in der CI, um auf Rückschritte zu überprüfen.
Commit: Speichern Sie die Kassette für zukünftige Tests.
EvalCore's Anwendungsfälle
- Regressionstests
- Verhaltensüberwachung
- Modellvergleich
- Integrationstests
- Kostenverfolgung
