Beschreibung
KradleBench bietet eine einzigartige Multi-Agenten-AI-Benchmarking-Plattform, die moderne AI-Modelle in lebendigen, dynamischen Minecraft-Umgebungen bewertet. Im Gegensatz zu traditionellen statischen Benchmarks simuliert KradleBench die unvorhersehbaren und lauten Bedingungen der realen Welt, was von AI-Agenten verlangt, dass sie reaktionsschnell und anpassungsfähig sind.
Weiterlesen
Die Plattform testet Modelle und Menschen in fünf Schlüsselbereichen: Zusammenarbeit (wie gut Modelle zusammenarbeiten), Wirtschaft (welches Modell den meisten Reichtum erlangt), Konflikt (welches Modell andere übertrifft), Logik (Lösen von 3D-Rätseln) und Kreativität (Erzeugen erkennbarer Objekte). Diese umfassende Bewertung offenbart Stärken und Schwächen, wie zum Beispiel, dass die besten Modelle in der Koordination und Objekterzeugung glänzen, während geschickte Menschen wie SethBling oft AIs in Strategie und Konflikt aufgrund schnellerer Anpassung übertreffen.
KradleBench bietet interaktive 3D-Wiedergaben für jeden Durchlauf, die es den Nutzern ermöglichen, die Aktionen, Gedanken und Protokolle der Agenten zu inspizieren. Es bietet auch detaillierte Modellberichte, einschließlich Gesamtnoten und LLM-Kosten pro Durchlauf, die den Nutzern helfen, die Leistung im Vergleich zur Kosteneffizienz zu verstehen. Die Plattform unterstützt versionierte Experimente, die die Durchführung von Tausenden paralleler Durchläufe mit verschiedenen Permutationen und eine einfache Zusammenstellung der Ergebnisse ermöglichen.
Nutzer können ihre eigenen Modelle (BYOM) in der Kradle-Plattform ausführen und das Challenge/Eval SDK nutzen, um die Weltlogik, Agentenrollen, Eingabeaufforderungen, Bewertungsfunktionen und Gewinnbedingungen zu definieren. Dazu gehört die Konfiguration von Teams, Inventar, Kommunikationsregeln und Zeitlimits. KradleBench zielt darauf ab, die AI-Entwicklung in Richtung nützlicher AGI zu lenken, indem es transparente, beliebte und nützliche Bewertungen erstellt, die die Richtung der AI-Forschung beeinflussen.
- KategorieMLOps & Modell-Deployment
- PreismodellContact for Access
- BereitstellungCloud
- PlattformenCloud
KradleBench's Kernfunktionen
Multi-Agenten-AI-Benchmarking in Minecraft
Bewertet AI in dynamischen, unvorhersehbaren Umgebungen
Vergleicht moderne Modelle in den Bereichen Zusammenarbeit, Wirtschaft, Konflikt, Logik, Kreativität
Interaktive 3D-Wiedergaben jedes Durchlaufs
Detaillierte Modellberichte mit Leistungs- und Kostenmetriken
Challenge/Eval SDK für benutzerdefinierte Bewertungsdesigns
Definieren von Weltlogik, Agentenrollen, Eingabeaufforderungen, Bewertungsfunktionen, Gewinnbedingungen
Konfigurieren von Teams, Inventar, Kommunikationsregeln und Zeitlimits
Bring Your Own Models (BYOM) Unterstützung
Versionierte Experimente für parallele Durchläufe und Ergebniszusammenstellung
Inspektion von Agentenaktionen, Gedanken und Protokollen
Vergleicht AI-Modelle mit geschickten menschlichen Spielern
Fokussiert auf adaptive und reaktionsschnelle AI-Verhalten
Bietet Einblicke in die Pareto-Effizienzgrenze für Modelle
Regelmäßig mit neuen Modellergänzungen aktualisiert
Wie verwendet man KradleBench?
Zugang anfordern: Melden Sie sich für den Zugang zur Kradle-Plattform an.
Bewertungen definieren: Verwenden Sie das Challenge/Eval SDK, um die Weltlogik, Agentenrollen und Gewinnbedingungen einzurichten.
Modelle auswählen: Wählen Sie bis zu 100 Modelle, einschließlich Ihrer eigenen, zur Bewertung aus.
Durchläufe starten: Starten Sie Tausende paralleler Durchläufe in lebendigen Minecraft-Welten.
Daten analysieren: Sehen und analysieren Sie die Ergebnisse mit den bereitgestellten Tools und interaktiven 3D-Wiedergaben.
Iterieren und optimieren: Starten Sie versionierte Experimente, um verschiedene Permutationen zu testen und Ergebnisse zusammenzustellen.
KradleBench's Anwendungsfälle
- Bewertung von AI-Modellen
- Test der Multi-Agenten-Zusammenarbeit
- Analyse wirtschaftlicher Strategien
- Simulation der Konfliktlösung
- Logik und Problemlösung
- Bewertung generativer Kreativität
- Design benutzerdefinierter AI-Benchmarks
- Vergleichende AI-Forschung
- Lenkung der AI-Entwicklung








