설명
KradleBench는 실시간 동적 Minecraft 환경 내에서 최첨단 AI 모델을 평가하는 독특한 다중 에이전트 AI 벤치마킹 플랫폼을 제공합니다. 전통적인 정적 벤치마크와 달리 KradleBench는 실제 세계의 예측할 수 없고 소음이 많은 조건을 시뮬레이션하여 AI 에이전트가 반응적이고 적응할 수 있도록 요구합니다.
더 읽기
이 플랫폼은 모델과 인간을 다섯 가지 주요 차원에서 테스트합니다: 협업(모델 간의 협력 정도), 경제(어떤 모델이 가장 많은 부를 얻는지), 갈등(어떤 모델이 다른 모델을 초월하는지), 논리(3D 퍼즐 해결), 창의성(인식 가능한 객체 생성). 이 포괄적인 평가는 강점과 약점을 드러내며, 예를 들어 상위 모델은 조정 및 객체 생성에서 뛰어난 성능을 보이는 반면, SethBling과 같은 숙련된 인간은 전략 및 갈등에서 AI보다 더 빠르게 적응하여 종종 더 나은 성과를 냅니다.
KradleBench는 모든 실행에 대해 상호작용 3D 재생을 제공하여 사용자가 에이전트의 행동, 생각 및 로그를 검사할 수 있도록 합니다. 또한 각 모델에 대한 전체 점수 및 실행당 LLM 비용을 포함한 상세 모델 보고서를 제공하여 사용자가 성능과 비용 효율성을 이해하는 데 도움을 줍니다. 이 플랫폼은 버전 관리된 실험을 지원하여 다양한 조합으로 수천 개의 병렬 실행을 시작하고 결과를 쉽게 집계할 수 있습니다.
사용자는 Kradle 플랫폼 내에서 실행할 자신의 모델(BYOM)을 가져오고 Challenge/Eval SDK를 활용하여 세계 논리, 에이전트 역할, 프롬프트, 점수 함수 및 승리 조건을 정의할 수 있습니다. 여기에는 팀 구성, 인벤토리, 통신 규칙 및 시간 제한 설정이 포함됩니다. KradleBench는 투명하고 대중적이며 유용한 평가를 생성하여 AI 연구의 방향에 영향을 미치고 유익한 AGI 개발을 안내하는 것을 목표로 합니다.
- 카테고리MLOps 및 모델 배포
- 요금제Contact for Access
- 배포클라우드
- 플랫폼클라우드
KradleBench의 핵심 기능
Minecraft에서의 다중 에이전트 AI 벤치마킹
동적이고 예측할 수 없는 환경에서 AI 평가
협업, 경제, 갈등, 논리, 창의성에 대한 최첨단 모델 비교
모든 실행의 상호작용 3D 재생
성능 및 비용 메트릭이 포함된 상세 모델 보고서
맞춤형 평가 설계를 위한 Challenge/Eval SDK
세계 논리, 에이전트 역할, 프롬프트, 점수 함수, 승리 조건 정의
팀, 인벤토리, 통신 규칙 및 시간 제한 구성
자신의 모델 가져오기(BYOM) 지원
병렬 실행 및 결과 집계를 위한 버전 관리된 실험
에이전트의 행동, 생각 및 로그 검사
숙련된 인간 플레이어와 AI 모델 비교
적응적이고 반응적인 AI 행동에 중점
모델에 대한 파레토 효율성 경계에 대한 통찰 제공
새로운 모델 추가로 정기적으로 업데이트
KradleBench 사용 방법은?
접근 요청: Kradle 플랫폼에 대한 접근을 신청하세요.
평가 정의: Challenge/Eval SDK를 사용하여 세계 논리, 에이전트 역할 및 승리 조건을 설정하세요.
모델 선택: 평가를 위해 최대 100개의 모델(자신의 모델 포함)을 선택하세요.
실행 시작: 실시간 Minecraft 세계에서 수천 개의 병렬 실행을 시작하세요.
데이터 분석: 제공된 도구와 상호작용 3D 재생을 사용하여 결과를 보고 분석하세요.
반복 및 최적화: 다양한 조합을 테스트하고 결과를 집계하기 위해 버전 관리된 실험을 시작하세요.
KradleBench의 사용 사례
- AI 모델 평가
- 다중 에이전트 협업 테스트
- 경제 전략 분석
- 갈등 해결 시뮬레이션
- 논리 및 문제 해결
- 생성적 창의성 평가
- 맞춤형 AI 벤치마크 설계
- 비교 AI 연구
- AI 개발 방향 안내








