Descripción
three.dev es una plataforma especializada diseñada para ayudar a los equipos de desarrollo a detectar y corregir fallos en sus agentes de IA. Funciona registrando el tráfico del Modelo de Lenguaje Grande (LLM) de una característica de IA, puntuando solicitudes individuales y luego agrupando los fallos identificados en modos de fallo nombrados. Estos modos de fallo se clasifican por severidad, lo que permite a los equipos priorizar y abordar primero los problemas más impactantes.
Leer más
La plataforma se integra sin problemas en los flujos de trabajo de desarrollo existentes. Los usuarios pueden configurar three.dev con un solo aviso, lo que permite a su agente de codificación instalar las habilidades necesarias y dirigir las llamadas LLM a través del proxy de three.dev. Este proxy reenvía las solicitudes al proveedor de IA mientras envía simultáneamente las respuestas al evaluador de three.dev, asegurando que la puntuación no añada latencia al rendimiento de la aplicación. Una vez que se acumulan suficientes fallos, three.dev los agrupa automáticamente, proporcionando información clara sobre problemas comunes como ventanas de reembolso incorrectas o solicitudes de idioma ignoradas.
Una capacidad clave de three.dev es su habilidad para proporcionar problemas respaldados por evidencia. Cada problema identificado cita exactamente dónde salió mal, hasta una línea específica en el aviso del sistema o un mensaje dentro de una conversación. Esta precisión permite a los agentes de codificación, a menudo integrados a través de MCP (Plataforma de Código Gestionado), corregir automáticamente estos problemas. Por ejemplo, si un agente está dando una ventana de reembolso incorrecta, three.dev puede señalar el código en conflicto y sugerir una corrección, como se demostró en un ejemplo donde una ventana codificada de 14 días se actualizó para alinearse con una política de 30 días.
three.dev también admite experimentación robusta. Los equipos pueden reproducir tráfico pasado para probar nuevas versiones de agentes (v4) contra solicitudes grabadas sin afectar a los usuarios en vivo, observando cambios en las tasas de fallo. Para pruebas más avanzadas, permite dividir sesiones reales, donde una parte de los usuarios en vivo interactúa con la nueva versión, lo que permite comparar métricas de calidad y negocio. Este enfoque ayuda a los equipos a implementar cambios basados en evidencia, asegurando mejoras antes del despliegue completo. La plataforma también apoya el desarrollo de Modelos de Lenguaje Especializados (SLMs) entrenados en tráfico específico, que pueden superar a los modelos de frontera en calidad, latencia y costo para casos de uso particulares.
Los precios de three.dev incluyen un plan gratuito, un plan inicial a $79/mes y un plan profesional a $249/mes, con opciones empresariales disponibles para necesidades personalizadas. Todos los planes incluyen puntuación y asientos ilimitados. El plan gratuito ofrece 0.1 GB de datos procesados y 5,000 solicitudes puntuadas por mes. El plan inicial aumenta esto a 5 GB de datos y 10,000 solicitudes puntuadas, mientras que el plan profesional proporciona 20 GB de datos y 25,000 solicitudes puntuadas. El uso adicional se cobra por GB de datos y por cada 1,000 solicitudes puntuadas. La plataforma asegura que exceder los límites del plan nunca bloquee el tráfico; simplemente deja de registrar o puntuar solicitudes hasta el siguiente ciclo de facturación. Los datos se almacenan en los Estados Unidos, se cifran en tránsito y las claves del proveedor se cifran en reposo. three.dev no entrena con el tráfico de los clientes para nadie más que el cliente, asegurando la privacidad y seguridad de los datos.
- CategoríaRevisión de código y pruebas con IA
- Modelo de preciosFreemium
- ImplementaciónNube
- PlataformasWeb
Características principales de three.dev
Grabación de Tráfico LLM: Registra el tráfico LLM en vivo de características de IA.
Puntuación de Solicitudes: Puntúa solicitudes individuales de LLM por rendimiento y precisión.
Agrupación de Modos de Fallo: Agrupa fallos identificados en categorías nombradas clasificadas por severidad.
Problemas Respaldados por Evidencia: Señala fuentes exactas de errores, hasta líneas específicas de aviso.
Integración de Agentes de Codificación: Facilita correcciones automatizadas a través de la integración de MCP para agentes de codificación.
Análisis de Conversaciones en Vivo: Analiza conversaciones en vivo para identificar fallos de agentes.
Comparación Antes y Después: Compara el rendimiento del agente antes y después de las correcciones.
Reproducción de Tráfico: Permite probar nuevas versiones de agentes en tráfico pasado grabado.
Experimentos de Sesiones en Vivo: Permite pruebas A/B de cambios en agentes en una parte de usuarios en vivo.
Entrenamiento de Modelos de Lenguaje Especializados (SLM): Soporta la construcción de modelos personalizados entrenados en tráfico específico.
Interfaz de Chat: Permite preguntar sobre tráfico y fallos en lenguaje natural.
Asientos Ilimitados: Todos los planes incluyen asientos ilimitados para la colaboración del equipo.
Cifrado de Datos: Cifra el tráfico en tránsito con TLS 1.2+ y las claves del proveedor en reposo con AES-256-GCM.
Sin Entrenamiento en Datos de Clientes: Asegura que el tráfico del cliente no se utilice para el entrenamiento general del modelo.
Modos de Fallo Personalizables: Permite reconfigurar los modos de fallo para que coincidan con el modelo mental del equipo.
¿Cómo usar three.dev?
Configuración: Pega un solo aviso en tu agente (Claude Code, Codex o Cursor) para instalar las habilidades de three.dev e integrarlo en tu código.
Dirigir Tráfico: Las solicitudes LLM de tu aplicación pasan a través del proxy de three.dev hacia tu proveedor de IA, con respuestas enviadas simultáneamente al evaluador.
Monitorear Fallos: three.dev registra y puntúa solicitudes, agrupando fallos en modos de fallo clasificados a medida que se recopilan.
Analizar Problemas: Lee modos de fallo detallados con evidencia, mostrando dónde y por qué el agente falló.
Corregir Fallos: Usa la integración de MCP para entregar los modos de fallo más importantes a tu agente de codificación para correcciones automatizadas.
Experimentar de Forma Segura: Prueba cambios en tráfico grabado o en una parte de sesiones en vivo para verificar mejoras antes del despliegue completo.
Optimizar Rendimiento: Utiliza información del análisis de fallos y experimentos para mejorar continuamente la calidad del agente y las métricas de negocio.
Casos de uso de three.dev
- Aseguramiento de Calidad de Agentes de IA
- Corrección Automática de Errores
- Monitoreo del Rendimiento de LLM
- Desarrollo de IA Basado en Evidencia
- Entrenamiento Personalizado de LLM
- Detección Proactiva de Fallos
- Análisis de Conversaciones
- Pruebas A/B de Agentes de IA
- Integración en el Flujo de Trabajo del Desarrollador







