説明
Attestは、AIエージェント専用に設計された包括的なテストフレームワークで、PythonおよびTypeScript環境で利用可能です。開発者は、AIエージェントの動作を厳密にテストし、その出力、ツールとの相互作用、外部状態に加える変更を検証できます。このフレームワークは決定論的チェックを重視しており、開発者はエージェントのトレースとモデルの交換をキャプチャし、それを制御された環境でエージェントの実際のコードに対して再生できます。
続きを読む
Attestのコアワークフローは、キャプチャ、再生、ゲートの3つの主要なステップで構成されています。まず、`attest capture`がエージェントのトレースとモデルの相互作用を記録し、機密データを削除し、初期の動作契約をドラフトします。これらの契約は、特定のツール呼び出しや「世界状態」への変更など、期待される動作を定義します。次に、`replay`メカニズムがエージェントの実際のコードをこれらの記録されたモデルの応答に対してローカルプロキシを介して実行します。これにより、ライブモデル呼び出しの変動が排除され、CI/CDパイプラインでのテストが一貫して再現可能になります。最後に、`gate`ステップがテスト結果に基づいてポリシーを強制し、重要な契約が違反されたり予期しない動作が発生した場合にマージをブロックします。
Attestは、無料で即時の決定論的チェック(スキーマ検証、制約チェック、トレースおよび動作チェック、コンテンツパターンマッチング)から始まり、埋め込み類似性やLLMを判定者とする主張のようなリソース集約型のモデルベースの評価に移行する層状アプローチをサポートしています。この階層化システムにより、必要なときにのみモデルベースのチェックが呼び出され、効率的なテストが可能になります。フレームワークは、マルチエージェントテスト、モックツールとシードされた障害を使用したシミュレーションモード、スコアドリフトを監視するための実験的な継続的評価などの高度な機能も提供します。
堅牢なアダプターシステムを備えたAttestは、OpenAI、Anthropic、Gemini、Ollamaなどの人気のAIプロバイダーや、LangChain、CrewAI、LlamaIndexなどのフレームワークと統合します。Python用のpytestやTypeScript用のVitestなどの標準ユニットテストランナー内で実行され、既存の開発ワークフローに簡単に組み込むことができます。合成インシデントを回帰テストに変換する能力と、変異テストや詳細な失敗分析のためのHTMLビューワーなどの機能を組み合わせることで、Attestは信頼性が高く堅牢なAIエージェントを構築するための重要なツールとして位置付けられています。
- カテゴリーAI コードレビュー・テスト
- 料金モデルオープンソース
- デプロイクラウド
- プラットフォームWeb
Attest Frameworkの主要機能
PythonおよびTypeScript用のAIエージェントテストフレームワーク
AIエージェントのトレースとモデルの交換をキャプチャ
CIにおける記録されたモデルの応答の厳密な再生
エージェントの動作に対する決定論的チェック
ツール呼び出しと世界への影響のための動作契約
CIポリシーの強制とマージゲート
委任チェーンのためのマルチエージェントテスト
モックツールとシードされた障害を使用したシミュレーションモード
継続的評価とドリフト検出(実験的)
層状の主張評価(決定論的からLLMを判定者とするまで)
LangChain、CrewAI、LlamaIndex用のフレームワークアダプター
OpenAI、Anthropic、Gemini、Ollama用のプロバイダーアダプター
テストスイートの効果を評価するための変異テスト
詳細な失敗レポートのためのHTMLビューワー
コストフリーのセマンティックチェックのためのローカルONNX埋め込み
Attest Frameworkの使い方は?
SDKをインストール: Python用に`attest-ai`と`pytest`を追加するか、TypeScript用に`@attest-ai/core`と`vitest`を追加します。
エージェントを作成: AIエージェントを定義し、トレースキャプチャのためにLLMとツール呼び出しを記録することを確認します。
テストを書く: `expect()`を使用して主張を連鎖させ、`attest.evaluate()`を使用してエンジンに送信します。
テストを実行: Python用に`uv run pytest -v`、またはTypeScript用に`npx vitest run`でテストを実行します。
インシデントをキャプチャ: `attest capture`を使用して、実際または合成のインシデントからエージェントのトレースとモデルの交換を記録します。
CIで再生: CIパイプライン内で記録されたモデルの応答に対してテストを実行し、決定論的な結果を確保します。
マージをゲート: 定義された動作契約やベースラインに違反するプルリクエストをブロックするCIポリシーを設定します。
レポートをレビュー: `attest view`を使用して、テストの失敗やトレースの詳細な分析のためのHTMLレポートを生成します。
Attest Frameworkの使用例
- AIエージェントの回帰テスト
- ツール相互作用の検証
- AIのための継続的インテグレーション
- エージェントの出力の評価
- マルチエージェントシステムのデバッグ
- エージェント環境のシミュレーション
- エージェントのパフォーマンスの監視
- コスト効果の高いテスト
- ビジネス不変条件の確保




