Описание
Attest — это комплексный фреймворк для тестирования, разработанный специально для AI-агентов, доступный как для Python, так и для TypeScript. Он позволяет разработчикам тщательно тестировать поведение своих AI-агентов, проверяя их выводы, взаимодействия с инструментами и любые изменения, которые они вносят во внешние состояния. Фреймворк акцентирует внимание на детерминированных проверках, позволяя разработчикам захватывать трассировки агентов и обмены моделями, а затем воспроизводить их против реального кода агента в контролируемой среде.
Читать далее
Основной рабочий процесс Attest включает три основных шага: захват, воспроизведение и контроль. Сначала `attest capture` записывает трассировку агента и взаимодействия с моделью, редактирует конфиденциальные данные и составляет первоначальные контракты поведения. Эти контракты определяют ожидаемое поведение, такое как конкретные вызовы инструментов или изменения в «мировом состоянии». Затем механизм `replay` запускает реальный код агента против этих записанных ответов модели через локальный прокси. Это устраняет изменчивость вызовов живой модели, делая тесты последовательными и повторяемыми в CI/CD пайплайнах. Наконец, шаг `gate` обеспечивает соблюдение политик на основе результатов тестирования, блокируя слияния, если критические контракты нарушены или возникают неожиданные поведения.
Attest поддерживает многоуровневый подход к тестированию, начиная с бесплатных и мгновенных детерминированных проверок (валидация схем, проверки ограничений, проверки трассировок и поведения, сопоставление шаблонов контента) перед переходом к более ресурсоемким оценкам на основе модели, таким как сходство встраиваний и утверждения LLM-as-judge. Эта многоуровневая система позволяет эффективно тестировать, при этом проверки на основе модели вызываются только при необходимости. Фреймворк также предлагает расширенные функции, такие как тестирование с несколькими агентами, режим симуляции с макетными инструментами и посеянными сбоями, а также экспериментальную непрерывную оценку для мониторинга дрейфа оценок.
С помощью надежной системы адаптеров Attest интегрируется с популярными поставщиками AI, такими как OpenAI, Anthropic, Gemini и Ollama, а также с фреймворками, такими как LangChain, CrewAI и LlamaIndex. Он работает в стандартных тестовых раннерах, таких как pytest для Python и Vitest для TypeScript, что облегчает его интеграцию в существующие рабочие процессы разработки. Способность фреймворка превращать синтетические инциденты в регрессионные тесты, в сочетании с такими функциями, как мутационное тестирование и HTML-обозреватель для детального анализа сбоев, делает Attest критически важным инструментом для создания надежных и устойчивых AI-агентов.
- КатегорияAI-ревью кода и тестирование
- Модель ценообразованияОткрытый исходный код
- РазвёртываниеОблако
- ПлатформыВеб
Основные функции Attest Framework
Фреймворк для тестирования AI-агентов для Python и TypeScript
Захват трассировок AI-агентов и обменов моделями
Строгое воспроизведение записанных ответов модели в CI
Детерминированные проверки поведения агента
Контракты поведения для вызовов инструментов и эффектов на мир
Принуждение политик CI и контроль слияний
Тестирование с несколькими агентами для цепочек делегирования
Режим симуляции с макетными инструментами и посеянными сбоями
Непрерывная оценка и обнаружение дрейфа (экспериментально)
Многоуровневая оценка утверждений (от детерминированных до LLM-as-Judge)
Адаптеры фреймворка для LangChain, CrewAI, LlamaIndex
Адаптеры поставщиков для OpenAI, Anthropic, Gemini, Ollama
Мутационное тестирование для эффективности тестового набора
HTML-обозреватель для детальных отчетов о сбоях
Локальные встраивания ONNX для бесплатных семантических проверок
Как использовать Attest Framework?
Установите SDK: добавьте `attest-ai` и `pytest` для Python или `@attest-ai/core` и `vitest` для TypeScript.
Создайте агента: определите своего AI-агента, убедившись, что он записывает вызовы LLM и инструментов для захвата трассировки.
Напишите тест: используйте `expect()`, чтобы связать утверждения, и `attest.evaluate()`, чтобы отправить их в движок.
Запустите тесты: выполните тесты с помощью `uv run pytest -v` для Python или `npx vitest run` для TypeScript.
Захватите инцидент: используйте `attest capture`, чтобы записать трассировки агентов и обмены моделями из реальных или синтетических инцидентов.
Воспроизведите в CI: запускайте тесты против записанных ответов модели в вашем CI пайплайне, чтобы обеспечить детерминированные результаты.
Контролируйте слияния: настройте политики CI, чтобы блокировать запросы на слияние, которые нарушают определенные контракты поведения или базовые линии.
Просмотрите отчеты: используйте `attest view`, чтобы сгенерировать HTML-отчет для детального анализа сбоев тестов и трассировок.
Варианты использования Attest Framework
- Регрессионное тестирование AI-агентов
- Проверка взаимодействий с инструментами
- Непрерывная интеграция для AI
- Оценка выводов агентов
- Отладка многопользовательских систем
- Симуляция сред агентов
- Мониторинг производительности агентов
- Экономичное тестирование
- Обеспечение бизнес-инвариантов




