설명
BotGauge는 AI 에이전트를 위한 레드 팀 플랫폼입니다. 에이전트의 출력이 올바른지 확인하는 대신, 에이전트를 파괴하려고 시도합니다: 적대적인 프롬프트, 지침 재정의 및 엣지 케이스 입력을 보내어 에이전트가 의도된 경로에서 벗어났을 때 실제로 무엇을 하는지 확인합니다. 기본 모델, 프롬프트, 연결된 도구 또는 주변 맥락의 작은 변화가 에이전트를 아무도 예상하지 못한 경로로 보낼 수 있으며, 이 경로는 실제 사용자가 발견하기 전에 찾아야 합니다.
더 읽기
테스트 실행은 에이전트에게 비행기 예약과 같은 현실적인 작업을 부여한 다음, 적대적인 지침을 추가하여 예를 들어 이전 지침을 무시하고 승인 단계를 건너뛰도록 지시합니다. BotGauge는 에이전트의 전체 응답을 기록합니다: 수신한 프롬프트, 수행한 도구 호출, 사용한 맥락 및 최종 행동을 포함합니다. 에이전트가 정책에 의해 차단되어야 할 행동을 수행하는 등의 시도를 잘못 처리하면, BotGauge는 결과를 정책 위반으로 표시하고 해당 시나리오를 평가 스위트에 추가하여 향후 모든 테스트에서 자동으로 다시 실행되도록 합니다.
이 플랫폼은 세 가지 단계로 구성되어 있습니다: 예상치 못한 에이전트 행동을 찾기 위해 적응형 실제 및 적대적 시나리오를 탐색하고, 각 결과 뒤에 있는 프롬프트, 응답, 도구 호출 및 실행 경로를 추적하며, 중요한 발견을 영구적인 평가 및 안전 장치로 전환합니다. 에이전트는 모델, 프롬프트, 도구 또는 맥락이 업데이트됨에 따라 계속 변화하므로, BotGauge는 한 번이 아니라 지속적으로 실행되어 개발에서 프로덕션까지 에이전트의 행동을 추적하도록 설계되었습니다.
BotGauge는 AI 에이전트를 구축하거나 배포하는 엔지니어링 팀을 위해 설계되었으며, 개별 출력이 올바른지 확인하는 것 이상의 에이전트 행동을 테스트할 수 있는 방법이 필요합니다. G2에서 4.6의 평가를 보유하고 있으며 SOC 2 Type II 준수라고 명시하고 있습니다. 신규 사용자는 게시된 셀프 서비스 가격 대신 무료 체험 또는 데모 요청으로 시작합니다.
- 카테고리AI 사이버 보안 도구
- 요금제성과 기반
- 배포클라우드
- 플랫폼웹
BotGauge의 핵심 기능
적대적 및 실제 시나리오로 에이전트를 탐색하는 적응형 레드 팀
승인 단계를 건너뛰는 것을 포함한 프롬프트 주입 및 지침 재정의 시도 감지
모든 테스트 결과 뒤에 있는 프롬프트, 응답, 도구 호출 및 실행 경로 추적
발견된 각 실패를 테스트 스위트에 추가되는 재사용 가능한 평가로 변환
에이전트가 발전함에 따라 누적된 평가 스위트를 자동으로 재실행
개발에서 프로덕션까지 에이전트 행동 모니터링 및 관리
SOC 2 Type II 준수
G2에서 4.6 평가
BotGauge 사용 방법은?
에이전트 연결: 테스트하려는 AI 에이전트에 BotGauge를 지정합니다.
적대적 시나리오 실행: BotGauge가 에이전트에 적응형, 실제 및 적대적 입력을 보낼 수 있도록 합니다.
추적 검사: 각 결과 뒤에 있는 프롬프트, 응답, 도구 호출 및 실행 경로를 검토합니다.
발견 사항을 평가로 변환: 발견된 실패를 평가 스위트의 영구 테스트로 전환합니다.
지속적으로 재테스트: 에이전트의 모델, 프롬프트, 도구 또는 맥락이 변경될 때마다 스위트를 재실행합니다.
BotGauge의 사용 사례
- 출시 전 에이전트 스트레스 테스트
- 회귀 평가 스위트
- 정책 위반 감지
- 지속적인 에이전트 모니터링
