Beschreibung
three.dev ist eine spezialisierte Plattform, die Entwicklungsteams dabei unterstützt, Ausfälle in ihren KI-Agenten zu erkennen und zu beheben. Sie funktioniert, indem sie den Verkehr des Large Language Model (LLM) einer KI-Funktion aufzeichnet, einzelne Anfragen bewertet und dann identifizierte Ausfälle in benannte Fehlermodi gruppiert. Diese Fehlermodi werden nach Schweregrad eingestuft, sodass Teams die wichtigsten Probleme zuerst priorisieren und angehen können.
Weiterlesen
Die Plattform integriert sich nahtlos in bestehende Entwicklungsabläufe. Benutzer können three.dev mit einem einzigen Prompt einrichten, der es ihrem Codierungsagenten ermöglicht, die erforderlichen Fähigkeiten zu installieren und LLM-Anfragen über den three.dev-Proxy zu leiten. Dieser Proxy leitet Anfragen an den KI-Anbieter weiter und sendet gleichzeitig Antworten an den Evaluator von three.dev, sodass die Bewertung keine Verzögerung in der Anwendungsleistung verursacht. Sobald genügend Ausfälle gesammelt sind, gruppiert three.dev diese automatisch und bietet klare Einblicke in häufige Probleme wie falsche Rückerstattungszeiträume oder ignorierte Sprachanforderungen.
Eine Schlüsselkompetenz von three.dev ist die Bereitstellung von evidenzbasierten Problemen. Jedes identifizierte Problem gibt genau an, wo es schiefgelaufen ist, bis hin zu einer bestimmten Zeile im Systemprompt oder einer Nachricht innerhalb eines Gesprächs. Diese Präzision ermöglicht es Codierungsagenten, die oft über MCP (Managed Code Platform) integriert sind, diese Probleme automatisch zu beheben. Wenn beispielsweise ein Agent einen falschen Rückerstattungszeitraum angibt, kann three.dev den widersprüchlichen Code genau lokalisieren und eine Lösung vorschlagen, wie in einem Beispiel, in dem ein fest codierter 14-Tage-Zeitraum aktualisiert wurde, um mit einer 30-Tage-Richtlinie übereinzustimmen.
three.dev unterstützt auch robuste Experimente. Teams können vergangenen Verkehr wieder abspielen, um neue Agentenversionen (v4) gegen aufgezeichnete Anfragen zu testen, ohne die Live-Nutzer zu beeinträchtigen, und Änderungen in den Ausfallraten beobachten. Für fortgeschrittenere Tests ermöglicht es das Aufteilen von realen Sitzungen, bei denen ein Teil der Live-Nutzer mit der neuen Version interagiert, um Qualität und Geschäftszahlen zu vergleichen. Dieser Ansatz hilft Teams, Änderungen auf Basis von Beweisen bereitzustellen und Verbesserungen vor der vollständigen Bereitstellung sicherzustellen. Die Plattform unterstützt auch die Entwicklung von spezialisierten Sprachmodellen (SLMs), die auf spezifischem Verkehr trainiert werden und in Bezug auf Qualität, Latenz und Kosten für bestimmte Anwendungsfälle besser abschneiden können.
Die Preisgestaltung für three.dev umfasst einen kostenlosen Plan, einen Starter-Plan für 79 $/Monat und einen Pro-Plan für 249 $/Monat, mit Enterprise-Optionen für individuelle Bedürfnisse. Alle Pläne beinhalten die Bewertung und unbegrenzte Plätze. Der kostenlose Plan bietet 0,1 GB verarbeiteten Daten und 5.000 bewertete Anfragen pro Monat. Der Starter-Plan erhöht dies auf 5 GB Daten und 10.000 bewertete Anfragen, während der Pro-Plan 20 GB Daten und 25.000 bewertete Anfragen bereitstellt. Zusätzliche Nutzung wird pro GB Daten und pro 1.000 bewertete Anfragen berechnet. Die Plattform stellt sicher, dass das Überschreiten der Planlimits den Verkehr niemals blockiert; sie hört einfach auf, Anfragen aufzuzeichnen oder zu bewerten, bis der nächste Abrechnungszyklus beginnt. Daten werden in den Vereinigten Staaten gespeichert, während der Übertragung verschlüsselt und die Anbieter-Schlüssel sind im Ruhezustand verschlüsselt. three.dev trainiert nicht mit Kundendaten für andere als den Kunden, um Datenschutz und Sicherheit zu gewährleisten.
- KategorieKI-Code-Review & -Testing
- PreismodellFreemium
- BereitstellungCloud
- PlattformenWeb
three.dev's Kernfunktionen
LLM-Verkehrsaufzeichnung: Zeichnet den Live-LLM-Verkehr von KI-Funktionen auf.
Anfragenbewertung: Bewertet einzelne LLM-Anfragen hinsichtlich Leistung und Genauigkeit.
Gruppierung von Fehlermodi: Gruppiert identifizierte Ausfälle in benannte Kategorien, die nach Schweregrad eingestuft sind.
Evidenzbasierte Probleme: Gibt die genauen Quellen von Fehlern an, bis hin zu spezifischen Prompt-Zeilen.
Integration von Codierungsagenten: Ermöglicht automatisierte Lösungen über die MCP-Integration für Codierungsagenten.
Analyse von Live-Gesprächen: Analysiert Live-Gespräche, um Ausfälle von Agenten zu identifizieren.
Vorher-Nachher-Vergleich: Vergleicht die Leistung von Agenten vor und nach der Behebung.
Verkehrswiedergabe: Ermöglicht das Testen neuer Agentenversionen mit aufgezeichnetem vergangenem Verkehr.
Live-Sitzungsexperimente: Ermöglicht A/B-Tests von Änderungen an Agenten bei einem Teil der Live-Nutzer.
Training von spezialisierten Sprachmodellen (SLM): Unterstützt den Aufbau benutzerdefinierter Modelle, die auf spezifischem Verkehr trainiert werden.
Chat-Schnittstelle: Ermöglicht das Fragen zu Verkehr und Ausfällen in natürlicher Sprache.
Unbegrenzte Plätze: Alle Pläne beinhalten unbegrenzte Benutzerplätze für die Teamzusammenarbeit.
Datenverschlüsselung: Verschlüsselt den Verkehr während der Übertragung mit TLS 1.2+ und Anbieter-Schlüssel im Ruhezustand mit AES-256-GCM.
Kein Training mit Kundendaten: Stellt sicher, dass Kundendaten nicht für das allgemeine Modelltraining verwendet werden.
Anpassbare Fehlermodi: Ermöglicht die Anpassung von Fehlermodi, um dem mentalen Modell des Teams zu entsprechen.
Wie verwendet man three.dev?
Einrichten: Fügen Sie einen einzelnen Prompt in Ihren Agenten (Claude Code, Codex oder Cursor) ein, um die three.dev-Fähigkeiten zu installieren und ihn in Ihren Code zu integrieren.
Verkehr leiten: Die LLM-Anfragen Ihrer App passieren den three.dev-Proxy zu Ihrem KI-Anbieter, wobei die Antworten gleichzeitig an den Evaluator gesendet werden.
Ausfälle überwachen: three.dev zeichnet Anfragen auf und bewertet sie, indem es Ausfälle in kategorisierte Fehlermodi gruppiert, während sie gesammelt werden.
Probleme analysieren: Lesen Sie detaillierte Fehlermodi mit Beweisen, die zeigen, wo und warum der Agent falsch lag.
Ausfälle beheben: Verwenden Sie die MCP-Integration, um die wichtigsten Fehlermodi an Ihren Codierungsagenten zur automatisierten Behebung weiterzugeben.
Sicher experimentieren: Testen Sie Änderungen mit aufgezeichnetem Verkehr oder einem Teil der Live-Sitzungen, um Verbesserungen vor der vollständigen Bereitstellung zu überprüfen.
Leistung optimieren: Nutzen Sie Erkenntnisse aus der Fehleranalyse und Experimenten, um die Qualität des Agenten und die Geschäftszahlen kontinuierlich zu verbessern.
three.dev's Anwendungsfälle
- Qualitätssicherung von KI-Agenten
- Automatisierte Fehlerbehebung
- Überwachung der LLM-Leistung
- Evidenzbasierte KI-Entwicklung
- Benutzerdefiniertes LLM-Training
- Proaktive Fehlererkennung
- Gesprächsanalyse
- A/B-Tests von KI-Agenten
- Integration in den Entwickler-Workflow







