Description
three.dev est une plateforme spécialisée conçue pour aider les équipes de développement à détecter et corriger les échecs de leurs agents IA. Elle fonctionne en enregistrant le trafic du Modèle de Langage de Grande Taille (LLM) d'une fonctionnalité IA, en évaluant les demandes individuelles, puis en regroupant les défaillances identifiées en modes de défaillance nommés. Ces modes de défaillance sont classés par gravité, permettant aux équipes de prioriser et de traiter d'abord les problèmes les plus impactants.
Lire la suite
La plateforme s'intègre parfaitement dans les flux de travail de développement existants. Les utilisateurs peuvent configurer three.dev avec une seule invite, ce qui permet à leur agent de codage d'installer les compétences nécessaires et de router les appels LLM via le proxy three.dev. Ce proxy transmet les demandes au fournisseur IA tout en envoyant simultanément les réponses à l'évaluateur de three.dev, garantissant que l'évaluation n'ajoute aucune latence à la performance de l'application. Une fois qu'un nombre suffisant de défaillances s'accumule, three.dev les regroupe automatiquement, fournissant des informations claires sur des problèmes courants tels que des fenêtres de remboursement incorrectes ou des demandes de langue ignorées.
Une capacité clé de three.dev est sa capacité à fournir des problèmes basés sur des preuves. Chaque problème identifié cite exactement où il s'est mal passé, jusqu'à une ligne spécifique dans l'invite système ou un message dans une conversation. Cette précision permet aux agents de codage, souvent intégrés via MCP (Managed Code Platform), de corriger automatiquement ces problèmes. Par exemple, si un agent donne une mauvaise fenêtre de remboursement, three.dev peut identifier le code en conflit et suggérer une correction, comme le montre un exemple où une fenêtre codée en dur de 14 jours a été mise à jour pour s'aligner sur une politique de 30 jours.
three.dev prend également en charge des expérimentations robustes. Les équipes peuvent rejouer le trafic passé pour tester de nouvelles versions d'agents (v4) par rapport aux demandes enregistrées sans impacter les utilisateurs en direct, observant les changements dans les taux de défaillance. Pour des tests plus avancés, il permet de diviser des sessions réelles, où une partie des utilisateurs en direct interagit avec la nouvelle version, permettant de comparer la qualité et les métriques commerciales. Cette approche aide les équipes à déployer des modifications basées sur des preuves, garantissant des améliorations avant le déploiement complet. La plateforme prend également en charge le développement de Modèles de Langage Spécialisés (SLM) formés sur un trafic spécifique, qui peuvent surpasser les modèles de pointe en qualité, latence et coût pour des cas d'utilisation particuliers.
Les tarifs de three.dev comprennent un plan gratuit, un plan de démarrage à 79 $/mois et un plan Pro à 249 $/mois, avec des options Enterprise disponibles pour des besoins personnalisés. Tous les plans incluent l'évaluation et des sièges illimités. Le plan gratuit offre 0,1 Go de données traitées et 5 000 demandes évaluées par mois. Le plan de démarrage augmente cela à 5 Go de données et 10 000 demandes évaluées, tandis que le plan Pro fournit 20 Go de données et 25 000 demandes évaluées. L'utilisation supplémentaire est facturée par Go de données et par 1 000 demandes évaluées. La plateforme garantit que dépasser les limites du plan ne bloque jamais le trafic ; elle cesse simplement d'enregistrer ou d'évaluer les demandes jusqu'au prochain cycle de facturation. Les données sont stockées aux États-Unis, cryptées en transit, et les clés des fournisseurs sont cryptées au repos. three.dev ne s'entraîne pas sur le trafic des clients pour quiconque d'autre que le client, garantissant la confidentialité et la sécurité des données.
- CatégorieRevue de code et tests IA
- Modèle tarifaireFreemium
- DéploiementCloud
- PlateformesWeb
Fonctionnalités principales de three.dev
Enregistrement du Trafic LLM : Enregistre le trafic LLM en direct des fonctionnalités IA.
Évaluation des Demandes : Évalue les demandes LLM individuelles pour la performance et la précision.
Regroupement des Modes de Défaillance : Regroupe les défaillances identifiées en catégories nommées classées par gravité.
Problèmes Basés sur des Preuves : Identifie les sources exactes des erreurs, jusqu'à des lignes spécifiques de l'invite.
Intégration de l'Agent de Codage : Facilite les corrections automatisées via l'intégration MCP pour les agents de codage.
Analyse des Conversations en Direct : Analyse les conversations en direct pour identifier les échecs des agents.
Comparaison Avant et Après : Compare la performance des agents avant et après les corrections.
Relecture du Trafic : Permet de tester de nouvelles versions d'agents sur le trafic passé enregistré.
Expériences de Sessions en Direct : Permet des tests A/B des modifications d'agents sur une partie des utilisateurs en direct.
Formation de Modèles de Langage Spécialisés (SLM) : Prend en charge la création de modèles personnalisés formés sur un trafic spécifique.
Interface de Chat : Permet de poser des questions sur le trafic et les défaillances en langage naturel.
Sièges Illimités : Tous les plans incluent des sièges utilisateurs illimités pour la collaboration en équipe.
Cryptage des Données : Crypte le trafic en transit avec TLS 1.2+ et les clés des fournisseurs au repos avec AES-256-GCM.
Pas de Formation sur les Données Clients : Garantit que le trafic client n'est pas utilisé pour la formation de modèles généraux.
Modes de Défaillance Personnalisables : Permet de remodeler les modes de défaillance pour correspondre au modèle mental de l'équipe.
Comment utiliser three.dev ?
Configuration : Collez une seule invite dans votre agent (Claude Code, Codex ou Cursor) pour installer les compétences de three.dev et l'intégrer dans votre code.
Acheminer le Trafic : Les demandes LLM de votre application passent par le proxy three.dev vers votre fournisseur IA, avec des réponses envoyées simultanément à l'évaluateur.
Surveiller les Défaillances : three.dev enregistre et évalue les demandes, regroupant les défaillances en modes de défaillance classés au fur et à mesure qu'elles s'accumulent.
Analyser les Problèmes : Lisez les modes de défaillance détaillés avec des preuves, montrant où et pourquoi l'agent a échoué.
Corriger les Défaillances : Utilisez l'intégration MCP pour transmettre les principaux modes de défaillance à votre agent de codage pour des corrections automatisées.
Expérimenter en Toute Sécurité : Testez les modifications sur le trafic enregistré ou une partie des sessions en direct pour vérifier les améliorations avant le déploiement complet.
Optimiser la Performance : Utilisez les informations de l'analyse des défaillances et des expériences pour améliorer continuellement la qualité des agents et les métriques commerciales.
Cas d'utilisation de three.dev
- Assurance Qualité des Agents IA
- Correction Automatisée des Bugs
- Surveillance de la Performance LLM
- Développement IA Basé sur des Preuves
- Formation LLM Personnalisée
- Détection Proactive des Défaillances
- Analyse des Conversations
- Tests A/B des Agents IA
- Intégration dans le Flux de Travail des Développeurs







