説明
BotGaugeはAIエージェントのためのレッドチーミングプラットフォームです。エージェントの出力が正しいかどうかを確認するのではなく、エージェントを破壊しようとします：敵対的なプロンプト、指示のオーバーライド、エッジケースの入力を送信し、エージェントが意図した道から外れたときに実際に何をするかを確認します。この前提は、基盤となるモデル、プロンプト、接続されたツール、または周囲のコンテキストの小さな変更が、誰も予期しなかった道にエージェントを導く可能性があり、その道を実際のユーザーが見つける前に見つける必要があるということです。
続きを読む
テスト実行は、エージェントに現実的なタスクを与え、次に敵対的な指示を重ねることで機能します。たとえば、以前の指示を無視して承認ステップをスキップするように指示します。BotGaugeはエージェントの完全な応答を記録します：受け取ったプロンプト、行ったツールコール、使用したコンテキスト、そして最終的に取ったアクションです。エージェントが試みを誤って処理した場合、たとえばポリシーによってブロックされるべきアクションを実行した場合、BotGaugeはその結果をポリシー違反としてフラグ付けし、その正確なシナリオを評価スイートに追加します。これにより、再発見する必要なく、今後のすべてのテストで自動的に再実行されます。
このプラットフォームは、予期しないエージェントの動作を見つけるために適応的な実世界および敵対的なシナリオを探索し、各結果の背後にあるプロンプト、応答、ツールコール、実行パスを追跡し、重要な発見を永続的な評価と保護策に変換するという3つのステップを中心に構築されています。エージェントはモデル、プロンプト、ツール、またはコンテキストが更新されるにつれて変化し続けるため、BotGaugeは一度だけでなく継続的に実行され、開発から本番までエージェントの動作を追跡することを目的としています。
BotGaugeは、AIエージェントを構築または展開するエンジニアリングチーム向けに設計されており、個々の出力が正しいかどうかを確認する以上の方法でエージェントの動作をテストする必要があります。G2で4.6の評価を持ち、SOC 2 Type IIに準拠していると述べています。新しいユーザーは、公開されたセルフサービス価格ではなく、無料トライアルまたはデモリクエストから始まります。
- カテゴリーAIサイバーセキュリティツール
- 料金モデル成果ベース
- デプロイクラウド
- プラットフォームWeb
BotGaugeの主要機能
敵対的および実世界のシナリオでエージェントを調査する適応型レッドチーミング
承認ステップのスキップを含むプロンプトインジェクションおよび指示オーバーライドの試みを検出
各テスト結果の背後にあるプロンプト、応答、ツールコール、実行パスを追跡
発見された各失敗を再利用可能な評価に変換し、テストスイートに追加
エージェントが進化するにつれて蓄積された評価スイートを自動的に再実行
開発から本番までエージェントの動作を監視および管理
SOC 2 Type IIに準拠
G2での評価は4.6
BotGaugeの使い方は？
エージェントを接続する：テストしたいAIエージェントにBotGaugeを向けます。
敵対的シナリオを実行する：BotGaugeにエージェントに対して適応的、実世界、敵対的な入力を送信させます。
トレースを確認する：各結果の背後にあるプロンプト、応答、ツールコール、実行パスをレビューします。
発見を評価に変換する：発見された失敗を評価スイートの永続的なテストに変えます。
継続的に再テストする：エージェントのモデル、プロンプト、ツール、またはコンテキストが変更されるたびにスイートを再実行します。
BotGaugeの使用例
- 本番前エージェントストレステスト
- 回帰評価スイート
- ポリシー違反検出
- 継続的エージェント監視
