Перейти к основному содержимому
ToolPotion
ИИ-советник
Отправить

Attest Framework

Attest — это фреймворк для тестирования AI-агентов на Python и TypeScript. Он помогает разработчикам тестировать, что говорит их AI-агент, какие инструменты он вызывает и какие изменения вносит в внешние системы. Повторяя записанные ответы модели, Attest обеспечивает детерминированные проверки в CI, гарантируя надежность агента и предотвращая регрессии без вызовов живой модели.

Посетить URL
Поделиться
Скриншот Attest Framework
Скриншот Attest Framework

Attest — это комплексный фреймворк для тестирования, разработанный специально для AI-агентов, доступный как для Python, так и для TypeScript. Он позволяет разработчикам тщательно тестировать поведение своих AI-агентов, проверяя их выводы, взаимодействия с инструментами и любые изменения, которые они вносят во внешние состояния. Фреймворк акцентирует внимание на детерминированных проверках, позволяя разработчикам захватывать трассировки агентов и обмены моделями, а затем воспроизводить их против реального кода агента в контролируемой среде.

Читать далее

Основной рабочий процесс Attest включает три основных шага: захват, воспроизведение и контроль. Сначала `attest capture` записывает трассировку агента и взаимодействия с моделью, редактирует конфиденциальные данные и составляет первоначальные контракты поведения. Эти контракты определяют ожидаемое поведение, такое как конкретные вызовы инструментов или изменения в «мировом состоянии». Затем механизм `replay` запускает реальный код агента против этих записанных ответов модели через локальный прокси. Это устраняет изменчивость вызовов живой модели, делая тесты последовательными и повторяемыми в CI/CD пайплайнах. Наконец, шаг `gate` обеспечивает соблюдение политик на основе результатов тестирования, блокируя слияния, если критические контракты нарушены или возникают неожиданные поведения.

Attest поддерживает многоуровневый подход к тестированию, начиная с бесплатных и мгновенных детерминированных проверок (валидация схем, проверки ограничений, проверки трассировок и поведения, сопоставление шаблонов контента) перед переходом к более ресурсоемким оценкам на основе модели, таким как сходство встраиваний и утверждения LLM-as-judge. Эта многоуровневая система позволяет эффективно тестировать, при этом проверки на основе модели вызываются только при необходимости. Фреймворк также предлагает расширенные функции, такие как тестирование с несколькими агентами, режим симуляции с макетными инструментами и посеянными сбоями, а также экспериментальную непрерывную оценку для мониторинга дрейфа оценок.

С помощью надежной системы адаптеров Attest интегрируется с популярными поставщиками AI, такими как OpenAI, Anthropic, Gemini и Ollama, а также с фреймворками, такими как LangChain, CrewAI и LlamaIndex. Он работает в стандартных тестовых раннерах, таких как pytest для Python и Vitest для TypeScript, что облегчает его интеграцию в существующие рабочие процессы разработки. Способность фреймворка превращать синтетические инциденты в регрессионные тесты, в сочетании с такими функциями, как мутационное тестирование и HTML-обозреватель для детального анализа сбоев, делает Attest критически важным инструментом для создания надежных и устойчивых AI-агентов.

  • КатегорияAI-ревью кода и тестирование
  • Модель ценообразованияОткрытый исходный код
  • РазвёртываниеОблако
  • ПлатформыВеб

  • Фреймворк для тестирования AI-агентов для Python и TypeScript

  • Захват трассировок AI-агентов и обменов моделями

  • Строгое воспроизведение записанных ответов модели в CI

  • Детерминированные проверки поведения агента

  • Контракты поведения для вызовов инструментов и эффектов на мир

  • Принуждение политик CI и контроль слияний

  • Тестирование с несколькими агентами для цепочек делегирования

  • Режим симуляции с макетными инструментами и посеянными сбоями

  • Непрерывная оценка и обнаружение дрейфа (экспериментально)

  • Многоуровневая оценка утверждений (от детерминированных до LLM-as-Judge)

  • Адаптеры фреймворка для LangChain, CrewAI, LlamaIndex

  • Адаптеры поставщиков для OpenAI, Anthropic, Gemini, Ollama

  • Мутационное тестирование для эффективности тестового набора

  • HTML-обозреватель для детальных отчетов о сбоях

  • Локальные встраивания ONNX для бесплатных семантических проверок

  1. Установите SDK: добавьте `attest-ai` и `pytest` для Python или `@attest-ai/core` и `vitest` для TypeScript.

  2. Создайте агента: определите своего AI-агента, убедившись, что он записывает вызовы LLM и инструментов для захвата трассировки.

  3. Напишите тест: используйте `expect()`, чтобы связать утверждения, и `attest.evaluate()`, чтобы отправить их в движок.

  4. Запустите тесты: выполните тесты с помощью `uv run pytest -v` для Python или `npx vitest run` для TypeScript.

  5. Захватите инцидент: используйте `attest capture`, чтобы записать трассировки агентов и обмены моделями из реальных или синтетических инцидентов.

  6. Воспроизведите в CI: запускайте тесты против записанных ответов модели в вашем CI пайплайне, чтобы обеспечить детерминированные результаты.

  7. Контролируйте слияния: настройте политики CI, чтобы блокировать запросы на слияние, которые нарушают определенные контракты поведения или базовые линии.

  8. Просмотрите отчеты: используйте `attest view`, чтобы сгенерировать HTML-отчет для детального анализа сбоев тестов и трассировок.

  • Регрессионное тестирование AI-агентов
  • Проверка взаимодействий с инструментами
  • Непрерывная интеграция для AI
  • Оценка выводов агентов
  • Отладка многопользовательских систем
  • Симуляция сред агентов
  • Мониторинг производительности агентов
  • Экономичное тестирование
  • Обеспечение бизнес-инвариантов

Отзывы о Attest Framework

Загрузка...

Популярные ИИ-инструменты, похожие на Attest Framework

LangWatch

AI-приложения

LangWatch — это платформа для тестирования AI-агентов, оценки LLM и обеспечения наблюдаемости. Она позволяет разработчикам моделировать реальные сценарии, предотвращать регрессии…

MLOps и развёртывание моделей

№14 в Инструменты для промпт-инжиниринга

Открыть инструмент

AI-приложения

Платформа для тестирования AI-агентов, оценки LLM и обеспечения наблюдаемости. Она позволяет разработчикам моделировать реальные сценарии, предотвращать регрессии…LangWatch — это платформа для тестирования AI-агентов, оценки LLM и обеспечения наблюдаемости. Она позволяет разработчикам моделировать реальные сценарии, предотвращать регрессии…

РекомендованоMLOps и развёртывание моделей
№14 в Инструменты для промпт-инжиниринга

TestSprite AI Testing

AI-приложения

TestSprite — это платформа на базе ИИ, которая автоматизирует тестирование программного обеспечения. Она создает планы тестирования, пишет код, выполняет тесты и отлаживает с…

AI-ревью кода и тестирование

№35 в AI-ревью кода и тестирование

Открыть инструмент

AI-приложения

Платформа на базе ИИ, которая автоматизирует тестирование программного обеспечения. Она создает планы тестирования, пишет код, выполняет тесты и отлаживает с…TestSprite — это платформа на базе ИИ, которая автоматизирует тестирование программного обеспечения. Она создает планы тестирования, пишет код, выполняет тесты и отлаживает с…

РекомендованоAI-ревью кода и тестирование
№35 в AI-ревью кода и тестирование

Functionize Studio

AI-приложения

Functionize Studio — это агент тестирования на основе ИИ, который проверяет веб-приложения, включая код, написанный агентами ИИ. Он сочетает в себе слой, который интерпретирует…

AI-ревью кода и тестированиеЗдравоохранение и науки о жизни

№32 в AI-ревью кода и тестирование

Открыть инструмент

AI-приложения

Агент тестирования на основе ИИ, который проверяет веб-приложения, включая код, написанный агентами ИИ. Он сочетает в себе слой, который интерпретирует…Functionize Studio — это агент тестирования на основе ИИ, который проверяет веб-приложения, включая код, написанный агентами ИИ. Он сочетает в себе слой, который интерпретирует…

AI-ревью кода и тестированиеЗдравоохранение и науки о жизни
№32 в AI-ревью кода и тестирование

ContextQA

AI-приложения

ContextQA — это платформа автоматизации тестирования на базе ИИ для корпоративных приложений и ИИ-агентов. Она автоматически генерирует тестовые сценарии, исправляет сломанные…

AI-ревью кода и тестирование

№74 в AI-ревью кода и тестирование

Открыть инструмент

AI-приложения

Платформа автоматизации тестирования на базе ИИ для корпоративных приложений и ИИ-агентов. Она автоматически генерирует тестовые сценарии, исправляет сломанные…ContextQA — это платформа автоматизации тестирования на базе ИИ для корпоративных приложений и ИИ-агентов. Она автоматически генерирует тестовые сценарии, исправляет сломанные…

AI-ревью кода и тестирование
№74 в AI-ревью кода и тестирование

TestMu AI

AI-приложения

TestMu AI, ранее LambdaTest, — это нативная облачная платформа для инжиниринга качества. Она ускоряет тестирование программного обеспечения с помощью автономных ИИ-агентов для…

AI-ревью кода и тестирование

№137 в AI-приложения

Открыть инструмент

AI-приложения

Ранее LambdaTest, — это нативная облачная платформа для инжиниринга качества. Она ускоряет тестирование программного обеспечения с помощью автономных ИИ-агентов для…TestMu AI, ранее LambdaTest, — это нативная облачная платформа для инжиниринга качества. Она ускоряет тестирование программного обеспечения с помощью автономных ИИ-агентов для…

AI-ревью кода и тестирование
№137 в AI-приложения

Maestro

AI-приложения

Maestro — это инструмент для тестирования пользовательского интерфейса с открытым исходным кодом, основанный на ИИ, который обеспечивает полный цикл тестирования для мобильных и…

AI-ревью кода и тестирование

№18 в AI-ревью кода и тестирование

Открыть инструмент

AI-приложения

Инструмент для тестирования пользовательского интерфейса с открытым исходным кодом, основанный на ИИ, который обеспечивает полный цикл тестирования для мобильных и…Maestro — это инструмент для тестирования пользовательского интерфейса с открытым исходным кодом, основанный на ИИ, который обеспечивает полный цикл тестирования для мобильных и…

AI-ревью кода и тестирование
№18 в AI-ревью кода и тестирование

EvalCore

AI-приложения

EvalCore предоставляет тестирование снимков для поведения ИИ, позволяя вам записывать, как ваше приложение LLM ведет себя, и воспроизводить это в CI при каждом изменении. Это…

AI-ревью кода и тестирование
Открыть инструмент

AI-приложения

Предоставляет тестирование снимков для поведения ИИ, позволяя вам записывать, как ваше приложение LLM ведет себя, и воспроизводить это в CI при каждом изменении. Это…EvalCore предоставляет тестирование снимков для поведения ИИ, позволяя вам записывать, как ваше приложение LLM ведет себя, и воспроизводить это в CI при каждом изменении. Это…

AI-ревью кода и тестирование
Топ-250: AI-приложения

Testers.ai

AI-приложения

Testers.ai создает CARBON, AI QA инструмент, который интегрируется с кодирующими агентами, такими как Claude, Codex, Cursor и Antigravity через MCP. CARBON выполняет тестирование…

AI-ревью кода и тестирование

№86 в AI-ревью кода и тестирование

Открыть инструмент

AI-приложения

Создает CARBON, AI QA инструмент, который интегрируется с кодирующими агентами, такими как Claude, Codex, Cursor и Antigravity через MCP. CARBON выполняет тестирование…Testers.ai создает CARBON, AI QA инструмент, который интегрируется с кодирующими агентами, такими как Claude, Codex, Cursor и Antigravity через MCP. CARBON выполняет тестирование…

AI-ревью кода и тестирование
№86 в AI-ревью кода и тестирование
1 из 8