Beschreibung
Attest ist ein umfassendes Testframework, das speziell für KI-Agenten entwickelt wurde und sowohl für Python- als auch für TypeScript-Umgebungen verfügbar ist. Es ermöglicht Entwicklern, das Verhalten ihrer KI-Agenten rigoros zu testen, indem es deren Ausgaben, Tool-Interaktionen und alle Änderungen, die sie an externen Zuständen vornehmen, überprüft. Das Framework legt besonderen Wert auf deterministische Prüfungen, die es Entwicklern ermöglichen, Agenten-Spuren und Modell-Austausche zu erfassen und diese dann in einer kontrollierten Umgebung gegen den tatsächlichen Code des Agenten wiederzugeben.
Weiterlesen
Der Kernworkflow von Attest umfasst drei Hauptschritte: Erfassen, Wiedergeben und Gate. Zunächst zeichnet `attest capture` die Spur des Agenten und die Modellinteraktionen auf, anonymisiert sensible Daten und entwirft erste Verhaltensverträge. Diese Verträge definieren erwartete Verhaltensweisen, wie spezifische Toolaufrufe oder Änderungen an einem „Weltzustand“. Als Nächstes führt der `replay`-Mechanismus den tatsächlichen Code des Agenten gegen diese aufgezeichneten Modellantworten über einen lokalen Proxy aus. Dies beseitigt die Variabilität von Live-Modellaufrufen und macht Tests konsistent und wiederholbar in CI/CD-Pipelines. Schließlich erzwingt der `gate`-Schritt Richtlinien basierend auf den Testergebnissen und blockiert Zusammenführungen, wenn kritische Verträge verletzt oder unerwartete Verhaltensweisen auftreten.
Attest unterstützt einen gestuften Ansatz für Tests, beginnend mit kostenlosen und sofortigen deterministischen Prüfungen (Schema-Validierung, Einschränkungsprüfungen, Spur- und Verhaltensprüfungen, Inhaltsmusterabgleich), bevor es zu ressourcenintensiveren, modellbasierten Bewertungen wie Einbettungsähnlichkeit und LLM-as-Judge-Behauptungen übergeht. Dieses gestufte System ermöglicht effizientes Testen, wobei modellbasierte Prüfungen nur bei Bedarf aufgerufen werden. Das Framework bietet auch erweiterte Funktionen wie Multi-Agenten-Tests, einen Simulationsmodus mit Mock-Tools und eingesäten Fehlern sowie experimentelle kontinuierliche Bewertungen zur Überwachung von Punktabweichungen.
Mit einem robusten Adaptersystem integriert sich Attest mit beliebten KI-Anbietern wie OpenAI, Anthropic, Gemini und Ollama sowie mit Frameworks wie LangChain, CrewAI und LlamaIndex. Es läuft innerhalb standardmäßiger Unit-Test-Runner wie pytest für Python und Vitest für TypeScript, was die Integration in bestehende Entwicklungs-Workflows erleichtert. Die Fähigkeit des Frameworks, synthetische Vorfälle in Regressionstests umzuwandeln, zusammen mit Funktionen wie Mutationstests und einem HTML-Viewer für detaillierte Fehlermeldungen, positioniert Attest als ein wichtiges Werkzeug zum Aufbau zuverlässiger und robuster KI-Agenten.
- KategorieKI-Code-Review & -Testing
- PreismodellOpen Source
- BereitstellungCloud
- PlattformenWeb
Attest Framework's Kernfunktionen
Testframework für KI-Agenten in Python und TypeScript
Erfassung von KI-Agenten-Spuren und Modell-Austauschen
Strikte Wiederholung aufgezeichneter Modellantworten in CI
Deterministische Prüfungen für das Verhalten von Agenten
Verhaltensverträge für Toolaufrufe und Weltwirkungen
Durchsetzung von CI-Richtlinien und Merge-Gate
Multi-Agenten-Tests für Delegationsketten
Simulationsmodus mit Mock-Tools und eingesäten Fehlern
Kontinuierliche Bewertung und Drift-Erkennung (experimentell)
Gestufte Behauptungsbewertung (deterministisch bis LLM-as-Judge)
Framework-Adapter für LangChain, CrewAI, LlamaIndex
Anbieter-Adapter für OpenAI, Anthropic, Gemini, Ollama
Mutationstests zur Effektivität von Test-Suiten
HTML-Viewer für detaillierte Fehlermeldungen
Lokale ONNX-Einbettungen für kostenfreie semantische Prüfungen
Wie verwendet man Attest Framework?
SDK installieren: Fügen Sie `attest-ai` und `pytest` für Python oder `@attest-ai/core` und `vitest` für TypeScript hinzu.
Agent erstellen: Definieren Sie Ihren KI-Agenten und stellen Sie sicher, dass er LLM- und Toolaufrufe zur Spurenerfassung aufzeichnet.
Test schreiben: Verwenden Sie `expect()`, um Behauptungen zu verketten, und `attest.evaluate()`, um sie an die Engine zu senden.
Tests ausführen: Führen Sie Tests mit `uv run pytest -v` für Python oder `npx vitest run` für TypeScript aus.
Vorfall erfassen: Verwenden Sie `attest capture`, um Agenten-Spuren und Modell-Austausche aus realen oder synthetischen Vorfällen aufzuzeichnen.
Wiedergeben in CI: Führen Sie Tests gegen aufgezeichnete Modellantworten in Ihrer CI-Pipeline aus, um deterministische Ergebnisse sicherzustellen.
Merges steuern: Konfigurieren Sie CI-Richtlinien, um Pull-Requests zu blockieren, die definierte Verhaltensverträge oder Baselines verletzen.
Berichte überprüfen: Verwenden Sie `attest view`, um einen HTML-Bericht für eine detaillierte Analyse von Testfehlern und Spuren zu erstellen.
Attest Framework's Anwendungsfälle
- Regressionstests für KI-Agenten
- Überprüfung von Tool-Interaktionen
- Kontinuierliche Integration für KI
- Bewertung von Agentenausgaben
- Debugging von Multi-Agenten-Systemen
- Simulation von Agenten-Umgebungen
- Überwachung der Agentenleistung
- Kosteneffektives Testen
- Sicherstellung von Geschäftsinvarianten




