Описание
three.dev — это специализированная платформа, разработанная для помощи командам разработчиков в обнаружении и исправлении сбоев в их AI-агентах. Она работает, записывая трафик Большой Языковой Модели (LLM) AI-функции, оценивая отдельные запросы и затем группируя выявленные сбои в именованные режимы сбоев. Эти режимы сбоев ранжируются по степени серьезности, что позволяет командам приоритизировать и решать наиболее значимые проблемы в первую очередь.
Читать далее
Платформа бесшовно интегрируется в существующие рабочие процессы разработки. Пользователи могут настроить three.dev с помощью одного запроса, который позволяет их кодирующему агенту установить необходимые навыки и направить вызовы LLM через прокси three.dev. Этот прокси пересылает запросы поставщику AI, одновременно отправляя ответы на оценщик three.dev, обеспечивая, что оценка не добавляет задержки к производительности приложения. Как только накапливается достаточное количество сбоев, three.dev автоматически группирует их, предоставляя четкие сведения о распространенных проблемах, таких как неправильные окна возврата или игнорируемые языковые запросы.
Ключевой возможностью three.dev является его способность предоставлять проблемы, основанные на доказательствах. Каждая выявленная проблема точно указывает, где она произошла, вплоть до конкретной строки в системном запросе или сообщения в разговоре. Эта точность позволяет кодирующим агентам, часто интегрированным через MCP (Управляемая Кодовая Платформа), автоматически исправлять эти проблемы. Например, если агент выдает неправильное окно возврата, three.dev может указать на конфликтующий код и предложить исправление, как это было продемонстрировано в примере, где жестко закодированное 14-дневное окно было обновлено, чтобы соответствовать 30-дневной политике.
three.dev также поддерживает надежные эксперименты. Команды могут воспроизводить прошлый трафик, чтобы протестировать новые версии агентов (v4) на записанных запросах, не влияя на живых пользователей, наблюдая за изменениями в частоте сбоев. Для более продвинутого тестирования он позволяет разделять реальные сессии, где часть живых пользователей взаимодействует с новой версией, позволяя сравнивать качество и бизнес-метрики. Этот подход помогает командам вносить изменения на основе доказательств, обеспечивая улучшения перед полным развертыванием. Платформа также поддерживает разработку Специализированных Языковых Моделей (SLM), обученных на конкретном трафике, которые могут превосходить передовые модели по качеству, задержке и стоимости для конкретных случаев использования.
Цены на three.dev включают бесплатный план, стартовый план за 79 долларов в месяц и профессиональный план за 249 долларов в месяц, с вариантами для предприятий, доступными для индивидуальных нужд. Все планы включают оценку и неограниченное количество мест. Бесплатный план предлагает 0,1 ГБ обработанных данных и 5000 оцененных запросов в месяц. Стартовый план увеличивает это до 5 ГБ данных и 10000 оцененных запросов, в то время как профессиональный план предоставляет 20 ГБ данных и 25000 оцененных запросов. Дополнительное использование оплачивается за ГБ данных и за 1000 оцененных запросов. Платформа гарантирует, что превышение лимитов плана никогда не блокирует трафик; она просто прекращает запись или оценку запросов до следующего расчетного цикла. Данные хранятся в Соединенных Штатах, шифруются при передаче, а ключи поставщика шифруются в состоянии покоя. three.dev не обучается на трафике клиентов для кого-либо, кроме клиента, обеспечивая конфиденциальность и безопасность данных.
- КатегорияAI-ревью кода и тестирование
- Модель ценообразованияFreemium
- РазвёртываниеОблако
- ПлатформыВеб
Основные функции three.dev
Запись трафика LLM: Записывает живой трафик LLM от AI-функций.
Оценка запросов: Оценивает отдельные запросы LLM по производительности и точности.
Группировка режимов сбоев: Группирует выявленные сбои в именованные категории, ранжированные по степени серьезности.
Проблемы, основанные на доказательствах: Указывает точные источники ошибок, вплоть до конкретных строк запросов.
Интеграция с кодирующим агентом: Обеспечивает автоматические исправления через интеграцию MCP для кодирующих агентов.
Анализ живых разговоров: Анализирует живые разговоры для выявления сбоев агентов.
Сравнение до и после: Сравнивает производительность агентов до и после исправлений.
Воспроизведение трафика: Позволяет тестировать новые версии агентов на записанном прошлом трафике.
Эксперименты с живыми сессиями: Позволяет A/B тестирование изменений агентов на части живых пользователей.
Обучение специализированных языковых моделей (SLM): Поддерживает создание пользовательских моделей, обученных на конкретном трафике.
Чат-интерфейс: Позволяет задавать вопросы о трафике и сбоях на естественном языке.
Неограниченное количество мест: Все планы включают неограниченное количество мест для командного сотрудничества.
Шифрование данных: Шифрует трафик при передаче с использованием TLS 1.2+ и ключи поставщика в состоянии покоя с использованием AES-256-GCM.
Нет обучения на данных клиентов: Обеспечивает, что трафик клиентов не используется для общего обучения моделей.
Настраиваемые режимы сбоев: Позволяет изменять режимы сбоев, чтобы соответствовать ментальной модели команды.
Как использовать three.dev?
Настройка: Вставьте один запрос в ваш агент (Claude Code, Codex или Cursor), чтобы установить навыки three.dev и интегрировать его в ваш код.
Направление трафика: Запросы LLM вашего приложения проходят через прокси three.dev к вашему поставщику AI, при этом ответы одновременно отправляются оценщику.
Мониторинг сбоев: three.dev записывает и оценивает запросы, группируя сбои в ранжированные режимы сбоев по мере их накопления.
Анализ проблем: Читайте подробные режимы сбоев с доказательствами, показывающими, где и почему агент ошибся.
Исправление сбоев: Используйте интеграцию MCP, чтобы передать основные режимы сбоев вашему кодирующему агенту для автоматических исправлений.
Безопасные эксперименты: Тестируйте изменения на записанном трафике или части живых сессий, чтобы подтвердить улучшения перед полным развертыванием.
Оптимизация производительности: Используйте сведения из анализа сбоев и экспериментов для постоянного улучшения качества агентов и бизнес-метрик.
Варианты использования three.dev
- Обеспечение качества AI-агентов
- Автоматическое исправление ошибок
- Мониторинг производительности LLM
- Разработка AI на основе доказательств
- Пользовательское обучение LLM
- Проактивное обнаружение сбоев
- Анализ разговоров
- A/B тестирование AI-агентов
- Интеграция рабочего процесса разработчика







