Описание
KradleBench предлагает уникальную платформу для многопользовательского бенчмаркинга ИИ, которая оценивает передовые модели ИИ в живых, динамичных средах Minecraft. В отличие от традиционных статических бенчмарков, KradleBench моделирует непредсказуемые и шумные условия реального мира, требуя от агентов ИИ быть отзывчивыми и адаптивными.
Читать далее
Платформа тестирует модели и людей по пяти ключевым параметрам: Сотрудничество (насколько хорошо модели работают вместе), Экономика (какая модель накапливает больше всего богатства), Конфликт (какая модель превосходит другие), Логика (решение 3D-головоломок) и Креативность (генерация узнаваемых объектов). Эта комплексная оценка выявляет сильные и слабые стороны, такие как лучшие модели, которые превосходят в координации и генерации объектов, в то время как опытные люди, такие как SethBling, часто превосходят ИИ в стратегии и конфликте благодаря более быстрой адаптации.
KradleBench предоставляет интерактивные 3D-воспроизведения для каждого запуска, позволяя пользователям исследовать действия агентов, их мысли и логи. Он также предлагает подробные отчеты о моделях, включая общие оценки и затраты LLM за запуск, что помогает пользователям понять производительность в сравнении с эффективностью затрат. Платформа поддерживает версионированные эксперименты, позволяя запускать тысячи параллельных запусков с различными пермутациями и легко компилировать результаты.
Пользователи могут использовать свои собственные модели (BYOM) для работы в рамках платформы Kradle и использовать SDK Challenge/Eval для определения логики мира, ролей агентов, подсказок, функций оценки и условий победы. Это включает в себя настройку команд, инвентаря, правил общения и временных ограничений. KradleBench стремится направить развитие ИИ к полезному AGI, создавая прозрачные, популярные и полезные оценки, которые влияют на направление исследований в области ИИ.
- КатегорияMLOps и развёртывание моделей
- Модель ценообразованияContact for Access
- РазвёртываниеОблако
- ПлатформыОблако
Основные функции KradleBench
Многопользовательский бенчмаркинг ИИ в Minecraft
Оценивает ИИ в динамичных, непредсказуемых средах
Сравнивает передовые модели по сотрудничеству, экономике, конфликту, логике, креативности
Интерактивные 3D-воспроизведения каждого запуска
Подробные отчеты о моделях с показателями производительности и затрат
SDK Challenge/Eval для разработки индивидуальных оценок
Определение логики мира, ролей агентов, подсказок, функций оценки, условий победы
Настройка команд, инвентаря, правил общения и временных ограничений
Поддержка использования собственных моделей (BYOM)
Версионированные эксперименты для параллельных запусков и компиляции результатов
Исследование действий агентов, их мыслей и логов
Сравнение моделей ИИ с опытными человеческими игроками
Фокус на адаптивном и отзывчивом поведении ИИ
Предоставление информации о границе Парето для моделей
Регулярные обновления с новыми моделями
Как использовать KradleBench?
Запрос доступа: Зарегистрируйтесь для получения доступа к платформе Kradle.
Определите оценки: Используйте SDK Challenge/Eval для настройки логики мира, ролей агентов и условий победы.
Выберите модели: Выберите до 100 моделей, включая свои, для оценки.
Запустите запуски: Начните тысячи параллельных запусков в живых мирах Minecraft.
Анализируйте данные: Просматривайте и анализируйте результаты с помощью предоставленных инструментов и интерактивных 3D-воспроизведений.
Итерация и оптимизация: Запускайте версионированные эксперименты для тестирования различных пермутаций и компиляции результатов.
Варианты использования KradleBench
- Оценка моделей ИИ
- Тестирование многопользовательского сотрудничества
- Анализ экономической стратегии
- Симуляция разрешения конфликтов
- Логика и решение проблем
- Оценка генеративной креативности
- Дизайн индивидуального бенчмарка ИИ
- Сравнительное исследование ИИ
- Направление развития ИИ








