설명
Attest는 AI 에이전트를 위해 특별히 설계된 포괄적인 테스트 프레임워크로, Python과 TypeScript 환경 모두에서 사용할 수 있습니다. 개발자는 AI 에이전트의 행동을 철저히 테스트하여 출력, 도구 상호작용 및 외부 상태에 대한 수정 사항을 검증할 수 있습니다. 이 프레임워크는 결정론적 검사를 강조하여 개발자가 에이전트의 추적 및 모델 교환을 캡처한 후 이를 제어된 환경에서 에이전트의 실제 코드에 대해 재생할 수 있도록 합니다.
더 읽기
Attest의 핵심 워크플로우는 캡처, 재생 및 게이트의 세 가지 주요 단계로 구성됩니다. 첫째, `attest capture`는 에이전트의 추적 및 모델 상호작용을 기록하고, 민감한 데이터를 수정하며, 초기 행동 계약을 초안합니다. 이러한 계약은 특정 도구 호출이나 '세계 상태'에 대한 변경과 같은 예상 행동을 정의합니다. 다음으로, `replay` 메커니즘은 로컬 프록시를 통해 이러한 기록된 모델 응답에 대해 에이전트의 실제 코드를 실행합니다. 이는 실시간 모델 호출의 변동성을 제거하여 CI/CD 파이프라인에서 테스트를 일관되고 반복 가능하게 만듭니다. 마지막으로, `gate` 단계는 테스트 결과에 따라 정책을 시행하여 중요한 계약이 위반되거나 예상치 못한 행동이 발생할 경우 병합을 차단합니다.
Attest는 테스트에 대한 계층적 접근 방식을 지원하며, 무료 및 즉각적인 결정론적 검사(스키마 검증, 제약 조건 검사, 추적 및 행동 검사, 콘텐츠 패턴 매칭)로 시작하여 임베딩 유사성 및 LLM-as-judge 주장과 같은 더 많은 자원을 소모하는 모델 기반 평가로 이동합니다. 이 계층화된 시스템은 효율적인 테스트를 가능하게 하며, 모델 기반 검사는 필요할 때만 호출됩니다. 이 프레임워크는 다중 에이전트 테스트, 모의 도구 및 시드 결함을 포함한 시뮬레이션 모드, 점수 드리프트 모니터링을 위한 실험적 지속적 평가와 같은 고급 기능도 제공합니다.
강력한 어댑터 시스템을 갖춘 Attest는 OpenAI, Anthropic, Gemini 및 Ollama와 같은 인기 있는 AI 제공업체와 LangChain, CrewAI 및 LlamaIndex와 같은 프레임워크와 통합됩니다. Python의 pytest 및 TypeScript의 Vitest와 같은 표준 단위 테스트 러너 내에서 실행되므로 기존 개발 워크플로에 쉽게 통합할 수 있습니다. 합성 사건을 회귀 테스트로 전환하는 프레임워크의 능력은 변이 테스트 및 상세한 실패 분석을 위한 HTML 뷰어와 같은 기능과 결합되어 Attest를 신뢰할 수 있고 강력한 AI 에이전트를 구축하기 위한 중요한 도구로 자리매김하게 합니다.
- 카테고리AI 코드 리뷰 및 테스트
- 요금제오픈 소스
- 배포클라우드
- 플랫폼웹
Attest Framework의 핵심 기능
Python과 TypeScript를 위한 AI 에이전트 테스트 프레임워크
AI 에이전트 추적 및 모델 교환 캡처
CI에서 기록된 모델 응답의 엄격한 재생
에이전트 행동에 대한 결정론적 검사
도구 호출 및 세계 효과에 대한 행동 계약
CI 정책 시행 및 병합 게이트
위임 체인을 위한 다중 에이전트 테스트
모의 도구 및 시드 결함을 포함한 시뮬레이션 모드
지속적 평가 및 드리프트 감지(실험적)
계층화된 주장 평가(결정론적에서 LLM-as-Judge까지)
LangChain, CrewAI, LlamaIndex를 위한 프레임워크 어댑터
OpenAI, Anthropic, Gemini, Ollama를 위한 제공업체 어댑터
테스트 스위트 효과성을 위한 변이 테스트
상세한 실패 보고서를 위한 HTML 뷰어
비용 없는 의미론적 검사를 위한 로컬 ONNX 임베딩
Attest Framework 사용 방법은?
SDK 설치: Python의 경우 `attest-ai` 및 `pytest`를 추가하거나, TypeScript의 경우 `@attest-ai/core` 및 `vitest`를 추가합니다.
에이전트 생성: AI 에이전트를 정의하고, 추적 캡처를 위해 LLM 및 도구 호출을 기록하도록 합니다.
테스트 작성: `expect()`를 사용하여 주장을 연결하고 `attest.evaluate()`를 사용하여 엔진에 전송합니다.
테스트 실행: Python의 경우 `uv run pytest -v` 또는 TypeScript의 경우 `npx vitest run`으로 테스트를 실행합니다.
사건 캡처: `attest capture`를 사용하여 실제 또는 합성 사건에서 에이전트 추적 및 모델 교환을 기록합니다.
CI에서 재생: CI 파이프라인에서 기록된 모델 응답에 대해 테스트를 실행하여 결정론적 결과를 보장합니다.
병합 게이트: 정의된 행동 계약이나 기준선을 위반하는 풀 리퀘스트를 차단하도록 CI 정책을 구성합니다.
보고서 검토: `attest view`를 사용하여 테스트 실패 및 추적에 대한 상세 분석을 위한 HTML 보고서를 생성합니다.
Attest Framework의 사용 사례
- AI 에이전트 회귀 테스트
- 도구 상호작용 검증
- AI를 위한 지속적 통합
- 에이전트 출력 평가
- 다중 에이전트 시스템 디버깅
- 에이전트 환경 시뮬레이션
- 에이전트 성능 모니터링
- 비용 효율적인 테스트
- 비즈니스 불변 보장




