설명
Portal2Bench는 Valve의 Portal 2의 복잡한 환경 내에서 AI 에이전트의 문제 해결 능력을 평가하기 위해 설계된 전문 벤치마크입니다. 이 플랫폼은 AI 에이전트가 게임의 2장부터 5장까지의 26개의 독립적인 테스트 챔버를 얼마나 효과적으로 탐색하고 완료할 수 있는지를 측정합니다. 각 챔버는 에이전트에게 새로운 독립적인 도전을 제공합니다.
더 읽기
핵심 방법론은 AI 모델이 정보를 처리하고 다음 행동을 계획하는 동안 Portal 2를 일시 중지하는 것입니다. 에이전트는 키 입력과 시점 전환을 통해 게임과 상호작용하며, 스크린샷과 게임 세계 내 현재 위치와 같은 실시간 피드백을 받습니다. 공정하고 통제된 평가를 보장하기 위해 에이전트는 내부 처리를 위한 제한된 '노트 폴더'를 제공받지만, 셸, 웹 또는 콘솔과 같은 외부 자원에 대한 접근은 엄격히 금지됩니다.
챔버는 AI 에이전트가 엄격한 제한 내에서 다음 맵에 성공적으로 도달할 경우에만 '해결'된 것으로 간주됩니다: 최대 300개의 '계획'(아마도 행동 또는 계산 단계)과 모델 사용에 대한 API 목록 가격을 기준으로 계산된 $30의 비용 한도입니다. 이 이중 제약은 AI 에이전트 성능에서 효율성과 경제적 실행 가능성을 강조합니다.
Portal2Bench는 '부정행위'에 대한 우려를 해결하기 위해 강력한 QA 검사를 구현합니다. 에이전트는 지정된 노트 폴더에 제한되어 있어 무단 외부 상호작용을 방지합니다. 에이전트가 게임 내에서 '죽음'을 맞이할 경우, 일반적인 Portal 2 게임 플레이와 유사하게 마지막 체크포인트에서 다시 태어나며, 추가적인 맥락 없이 단순히 자신의 죽음을 통보받습니다. 이 벤치마크는 Valve와 제휴하거나 승인되지 않았음을 명시하여 독립적인 연구 초점을 보장합니다.
- 카테고리AI 에이전트 빌더
- 요금제API List Prices
- 배포클라우드
- 플랫폼웹
Portal2Bench의 핵심 기능
Portal 2에 대한 AI 에이전트 성능 벤치마킹
26개의 독립적인 테스트 챔버 평가
챔버당 계획(300) 및 비용($30)에 대한 엄격한 제한
키 입력 및 시점 전환을 통한 실시간 게임 상호작용
스크린샷 및 위치 데이터를 통한 시각적 입력
셸, 웹 또는 콘솔 접근이 없는 격리된 환경
에이전트 처리를 위한 내부 '노트 폴더'
에이전트 사망 시 체크포인트에서의 리스폰 메커니즘
비용 계산에 사용되는 API 목록 가격
무단 에이전트 행동 방지를 위한 QA 검사
다양한 AI 모델에 대한 리더보드 추적
Valve와 제휴하지 않은 독립 연구 플랫폼
Portal2Bench 사용 방법은?
목표 이해하기: Portal2Bench가 AI 에이전트의 Portal 2 테스트 챔버 해결 능력을 평가한다는 것을 배우십시오.
벤치마킹 기준 검토하기: 성공은 300개의 계획과 $30의 비용 한도 내에서 챔버를 해결하는 것으로 정의됩니다.
에이전트 상호작용 관찰하기: 에이전트가 키를 보내고 시점을 전환하는 동안 스크린샷과 위치 데이터를 받는 방식을 확인하십시오.
모델 성능 확인하기: 리더보드를 확인하여 다양한 AI 모델이 벤치마크에서 어떻게 수행되는지 비교하십시오.
비용 및 효율성 분석하기: 챔버당 비용, 챔버당 계획 및 챔버당 시간 지표를 검토하여 통찰력을 얻으십시오.
Portal2Bench의 사용 사례
- AI 에이전트 성능 평가
- 게임 AI 연구
- 비교 AI 벤치마킹
- AI 모델의 비용 효율성 분석
- AI 계획 및 전략 개발






