Zum Hauptinhalt springen
ToolPotion
KI-Berater
Einreichen

Attest Framework

Attest ist ein Testframework für KI-Agenten in Python und TypeScript. Es hilft Entwicklern, zu testen, was ihr KI-Agent sagt, welche Tools er aufruft und welche Änderungen er an externen Systemen vornimmt. Durch das Wiedergeben aufgezeichneter Modellantworten ermöglicht Attest deterministische Prüfungen in CI, gewährleistet die Zuverlässigkeit des Agenten und verhindert Regressionen ohne Live-Modellaufrufe.

URL besuchen
Teilen
Screenshot von Attest Framework
Screenshot von Attest Framework

Attest ist ein umfassendes Testframework, das speziell für KI-Agenten entwickelt wurde und sowohl für Python- als auch für TypeScript-Umgebungen verfügbar ist. Es ermöglicht Entwicklern, das Verhalten ihrer KI-Agenten rigoros zu testen, indem es deren Ausgaben, Tool-Interaktionen und alle Änderungen, die sie an externen Zuständen vornehmen, überprüft. Das Framework legt besonderen Wert auf deterministische Prüfungen, die es Entwicklern ermöglichen, Agenten-Spuren und Modell-Austausche zu erfassen und diese dann in einer kontrollierten Umgebung gegen den tatsächlichen Code des Agenten wiederzugeben.

Weiterlesen

Der Kernworkflow von Attest umfasst drei Hauptschritte: Erfassen, Wiedergeben und Gate. Zunächst zeichnet `attest capture` die Spur des Agenten und die Modellinteraktionen auf, anonymisiert sensible Daten und entwirft erste Verhaltensverträge. Diese Verträge definieren erwartete Verhaltensweisen, wie spezifische Toolaufrufe oder Änderungen an einem „Weltzustand“. Als Nächstes führt der `replay`-Mechanismus den tatsächlichen Code des Agenten gegen diese aufgezeichneten Modellantworten über einen lokalen Proxy aus. Dies beseitigt die Variabilität von Live-Modellaufrufen und macht Tests konsistent und wiederholbar in CI/CD-Pipelines. Schließlich erzwingt der `gate`-Schritt Richtlinien basierend auf den Testergebnissen und blockiert Zusammenführungen, wenn kritische Verträge verletzt oder unerwartete Verhaltensweisen auftreten.

Attest unterstützt einen gestuften Ansatz für Tests, beginnend mit kostenlosen und sofortigen deterministischen Prüfungen (Schema-Validierung, Einschränkungsprüfungen, Spur- und Verhaltensprüfungen, Inhaltsmusterabgleich), bevor es zu ressourcenintensiveren, modellbasierten Bewertungen wie Einbettungsähnlichkeit und LLM-as-Judge-Behauptungen übergeht. Dieses gestufte System ermöglicht effizientes Testen, wobei modellbasierte Prüfungen nur bei Bedarf aufgerufen werden. Das Framework bietet auch erweiterte Funktionen wie Multi-Agenten-Tests, einen Simulationsmodus mit Mock-Tools und eingesäten Fehlern sowie experimentelle kontinuierliche Bewertungen zur Überwachung von Punktabweichungen.

Mit einem robusten Adaptersystem integriert sich Attest mit beliebten KI-Anbietern wie OpenAI, Anthropic, Gemini und Ollama sowie mit Frameworks wie LangChain, CrewAI und LlamaIndex. Es läuft innerhalb standardmäßiger Unit-Test-Runner wie pytest für Python und Vitest für TypeScript, was die Integration in bestehende Entwicklungs-Workflows erleichtert. Die Fähigkeit des Frameworks, synthetische Vorfälle in Regressionstests umzuwandeln, zusammen mit Funktionen wie Mutationstests und einem HTML-Viewer für detaillierte Fehlermeldungen, positioniert Attest als ein wichtiges Werkzeug zum Aufbau zuverlässiger und robuster KI-Agenten.

  • KategorieKI-Code-Review & -Testing
  • PreismodellOpen Source
  • BereitstellungCloud
  • PlattformenWeb

  • Testframework für KI-Agenten in Python und TypeScript

  • Erfassung von KI-Agenten-Spuren und Modell-Austauschen

  • Strikte Wiederholung aufgezeichneter Modellantworten in CI

  • Deterministische Prüfungen für das Verhalten von Agenten

  • Verhaltensverträge für Toolaufrufe und Weltwirkungen

  • Durchsetzung von CI-Richtlinien und Merge-Gate

  • Multi-Agenten-Tests für Delegationsketten

  • Simulationsmodus mit Mock-Tools und eingesäten Fehlern

  • Kontinuierliche Bewertung und Drift-Erkennung (experimentell)

  • Gestufte Behauptungsbewertung (deterministisch bis LLM-as-Judge)

  • Framework-Adapter für LangChain, CrewAI, LlamaIndex

  • Anbieter-Adapter für OpenAI, Anthropic, Gemini, Ollama

  • Mutationstests zur Effektivität von Test-Suiten

  • HTML-Viewer für detaillierte Fehlermeldungen

  • Lokale ONNX-Einbettungen für kostenfreie semantische Prüfungen

  1. SDK installieren: Fügen Sie `attest-ai` und `pytest` für Python oder `@attest-ai/core` und `vitest` für TypeScript hinzu.

  2. Agent erstellen: Definieren Sie Ihren KI-Agenten und stellen Sie sicher, dass er LLM- und Toolaufrufe zur Spurenerfassung aufzeichnet.

  3. Test schreiben: Verwenden Sie `expect()`, um Behauptungen zu verketten, und `attest.evaluate()`, um sie an die Engine zu senden.

  4. Tests ausführen: Führen Sie Tests mit `uv run pytest -v` für Python oder `npx vitest run` für TypeScript aus.

  5. Vorfall erfassen: Verwenden Sie `attest capture`, um Agenten-Spuren und Modell-Austausche aus realen oder synthetischen Vorfällen aufzuzeichnen.

  6. Wiedergeben in CI: Führen Sie Tests gegen aufgezeichnete Modellantworten in Ihrer CI-Pipeline aus, um deterministische Ergebnisse sicherzustellen.

  7. Merges steuern: Konfigurieren Sie CI-Richtlinien, um Pull-Requests zu blockieren, die definierte Verhaltensverträge oder Baselines verletzen.

  8. Berichte überprüfen: Verwenden Sie `attest view`, um einen HTML-Bericht für eine detaillierte Analyse von Testfehlern und Spuren zu erstellen.

  • Regressionstests für KI-Agenten
  • Überprüfung von Tool-Interaktionen
  • Kontinuierliche Integration für KI
  • Bewertung von Agentenausgaben
  • Debugging von Multi-Agenten-Systemen
  • Simulation von Agenten-Umgebungen
  • Überwachung der Agentenleistung
  • Kosteneffektives Testen
  • Sicherstellung von Geschäftsinvarianten

Attest Framework Bewertungen

Wird geladen...

Beliebte KI-Tools wie Attest Framework

LangWatch

KI-Apps

LangWatch ist eine Plattform für das Testen von KI-Agenten, die Evaluierung von LLMs und Observability. Sie ermöglicht Entwicklern, reale Szenarien zu simulieren, Regressionen zu…

MLOps & Modell-Deployment

Platz 14 in Prompt-Engineering-Tools

Tool ansehen

KI-Apps

Plattform für das Testen von KI-Agenten, die Evaluierung von LLMs und Observability. Sie ermöglicht Entwicklern, reale Szenarien zu simulieren, Regressionen zu…LangWatch ist eine Plattform für das Testen von KI-Agenten, die Evaluierung von LLMs und Observability. Sie ermöglicht Entwicklern, reale Szenarien zu simulieren, Regressionen zu…

EmpfohlenMLOps & Modell-Deployment
Platz 14 in Prompt-Engineering-Tools

TestSprite ist eine KI-gestützte Plattform, die Softwaretests automatisiert. Sie erstellt Testpläne, schreibt Code, führt Tests aus und debuggt mit minimalem Aufwand. Ideal für…

KI-Code-Review & -Testing

Platz 37 in KI-Code-Review & -Testing

Tool ansehen

KI-gestützte Plattform, die Softwaretests automatisiert. Sie erstellt Testpläne, schreibt Code, führt Tests aus und debuggt mit minimalem Aufwand. Ideal für…TestSprite ist eine KI-gestützte Plattform, die Softwaretests automatisiert. Sie erstellt Testpläne, schreibt Code, führt Tests aus und debuggt mit minimalem Aufwand. Ideal für…

EmpfohlenKI-Code-Review & -Testing
Platz 37 in KI-Code-Review & -Testing

Functionize Studio ist ein KI-Testagent, der Webanwendungen überprüft, einschließlich Code, der von KI-Coding-Agenten geschrieben wurde. Es kombiniert eine Schicht, die…

KI-Code-Review & -TestingGesundheitswesen & Life Sciences

Platz 33 in KI-Code-Review & -Testing

Tool ansehen

KI-Testagent, der Webanwendungen überprüft, einschließlich Code, der von KI-Coding-Agenten geschrieben wurde. Es kombiniert eine Schicht, die…Functionize Studio ist ein KI-Testagent, der Webanwendungen überprüft, einschließlich Code, der von KI-Coding-Agenten geschrieben wurde. Es kombiniert eine Schicht, die…

KI-Code-Review & -TestingGesundheitswesen & Life Sciences
Platz 33 in KI-Code-Review & -Testing

ContextQA

KI-Apps

ContextQA ist eine KI-gestützte Testautomatisierungsplattform für Unternehmensanwendungen und KI-Agenten. Sie generiert automatisch Testfälle, repariert defekte Selektoren und…

KI-Code-Review & -Testing

Platz 73 in KI-Code-Review & -Testing

Tool ansehen

KI-Apps

KI-gestützte Testautomatisierungsplattform für Unternehmensanwendungen und KI-Agenten. Sie generiert automatisch Testfälle, repariert defekte Selektoren und…ContextQA ist eine KI-gestützte Testautomatisierungsplattform für Unternehmensanwendungen und KI-Agenten. Sie generiert automatisch Testfälle, repariert defekte Selektoren und…

KI-Code-Review & -Testing
Platz 73 in KI-Code-Review & -Testing

TestMu AI

KI-Apps

TestMu AI, ehemals LambdaTest, ist eine KI-native Cloud-Plattform für Quality Engineering. Sie beschleunigt Softwaretests mit autonomen KI-Agenten für Planung, Erstellung und…

KI-Code-Review & -Testing

Platz 137 in KI-Apps

Tool ansehen

KI-Apps

Ehemals LambdaTest, ist eine KI-native Cloud-Plattform für Quality Engineering. Sie beschleunigt Softwaretests mit autonomen KI-Agenten für Planung, Erstellung und…TestMu AI, ehemals LambdaTest, ist eine KI-native Cloud-Plattform für Quality Engineering. Sie beschleunigt Softwaretests mit autonomen KI-Agenten für Planung, Erstellung und…

KI-Code-Review & -Testing
Platz 137 in KI-Apps

Maestro

KI-Apps

Maestro ist ein Open-Source, KI-natives End-to-End-UI-Testtool für mobile und Webanwendungen. Teams schreiben menschenlesbare YAML-Tests, führen sie kostenlos über die CLI oder…

KI-Code-Review & -Testing

Platz 18 in KI-Code-Review & -Testing

Tool ansehen

KI-Apps

Open-Source, KI-natives End-to-End-UI-Testtool für mobile und Webanwendungen. Teams schreiben menschenlesbare YAML-Tests, führen sie kostenlos über die CLI oder…Maestro ist ein Open-Source, KI-natives End-to-End-UI-Testtool für mobile und Webanwendungen. Teams schreiben menschenlesbare YAML-Tests, führen sie kostenlos über die CLI oder…

KI-Code-Review & -Testing
Platz 18 in KI-Code-Review & -Testing

EvalCore

KI-Apps

EvalCore bietet Snapshot-Tests für das Verhalten von KI und ermöglicht es Ihnen, aufzuzeichnen, wie Ihre LLM-Anwendung funktioniert, und diese Aufzeichnung bei jeder Änderung in…

KI-Code-Review & -Testing
Tool ansehen

KI-Apps

Bietet Snapshot-Tests für das Verhalten von KI und ermöglicht es Ihnen, aufzuzeichnen, wie Ihre LLM-Anwendung funktioniert, und diese Aufzeichnung bei jeder Änderung in…EvalCore bietet Snapshot-Tests für das Verhalten von KI und ermöglicht es Ihnen, aufzuzeichnen, wie Ihre LLM-Anwendung funktioniert, und diese Aufzeichnung bei jeder Änderung in…

KI-Code-Review & -Testing
Top 250 KI-Apps ansehen

Testers.ai

KI-Apps

Testers.ai entwickelt CARBON, ein KI-Qualitätssicherungswerkzeug, das in Codierungsagenten wie Claude, Codex, Cursor und Antigravity über MCP integriert wird. CARBON führt…

KI-Code-Review & -Testing

Platz 84 in KI-Code-Review & -Testing

Tool ansehen

KI-Apps

Testers.ai entwickelt CARBON, ein KI-Qualitätssicherungswerkzeug, das in Codierungsagenten wie Claude, Codex, Cursor und Antigravity über MCP integriert wird. CARBON führt…

KI-Code-Review & -Testing
Platz 84 in KI-Code-Review & -Testing
1 von 8