Описание
Portal2Bench — это специализированный бенчмарк, разработанный для оценки возможностей решения проблем ИИ-агентов в сложной среде игры Valve Portal 2. Платформа измеряет, насколько эффективно ИИ-агенты могут ориентироваться и завершать серию из 26 различных тестовых камер, взятых из глав 2 по 5 игры. Каждая камера представляет собой новую, независимую задачу для агента.
Читать далее
Основная методология включает приостановку Portal 2, пока ИИ-модель обрабатывает информацию и формулирует свои следующие действия. Агент взаимодействует с игрой, отправляя нажатия клавиш и повороты взгляда, получая обратную связь в реальном времени в виде скриншотов и текущего положения в игровом мире. Чтобы обеспечить справедливую и контролируемую оценку, агентам предоставляется ограниченная «папка заметок» для внутренней обработки, но им строго запрещен доступ к внешним ресурсам, таким как оболочка, веб или консоль.
Камера считается «решенной» только в том случае, если ИИ-агент успешно достигает следующей карты в строгих пределах: максимум 300 «планов» (предположительно действий или вычислительных шагов) и предельная стоимость в $30, рассчитанная на основе цен в списке API за использование модели. Это двойное ограничение подчеркивает как эффективность, так и экономическую целесообразность в производительности ИИ-агента.
Portal2Bench также решает проблемы «мошенничества», внедряя надежные проверки качества. Агенты ограничены своей назначенной папкой заметок, что предотвращает любое несанкционированное внешнее взаимодействие. В случае «смерти» агента в игре он возрождается на последней контрольной точке, что отражает обычный игровой процесс Portal 2, и просто информируется о своей гибели без дополнительного контекста. Бенчмарк явно заявляет, что он не связан и не поддерживается Valve, что обеспечивает его независимый исследовательский фокус.
- КатегорияКонструкторы AI-агентов
- Модель ценообразованияAPI List Prices
- РазвёртываниеОблако
- ПлатформыВеб
Основные функции Portal2Bench
Оценка производительности ИИ-агентов для Portal 2
Оценка по 26 различным тестовым камерам
Строгие ограничения на планы (300) и стоимость ($30) за камеру
Взаимодействие с игрой в реальном времени через нажатия клавиш и повороты взгляда
Визуальный ввод через скриншоты и данные о позиции
Изолированная среда без доступа к оболочке, вебу или консоли
Внутренняя «папка заметок» для обработки агента
Механизм возрождения на контрольных точках после смерти агента
Цены из списка API используются для расчета стоимости
Проверки качества для предотвращения несанкционированных действий агентов
Отслеживание таблицы лидеров для различных ИИ-моделей
Независимая исследовательская платформа, не связанная с Valve
Как использовать Portal2Bench?
Понять цель: Узнайте, что Portal2Bench оценивает способность ИИ-агентов решать тестовые камеры Portal 2.
Изучить критерии бенчмаркинга: Обратите внимание, что успех определяется решением камеры в пределах 300 планов и лимита стоимости в $30.
Наблюдать за взаимодействием агента: Посмотрите, как агенты отправляют команды и повороты взгляда, получая скриншоты и данные о позиции.
Проверить производительность модели: Посмотрите таблицу лидеров, чтобы сравнить, как различные ИИ-модели справляются с бенчмарком.
Анализировать стоимость и эффективность: Изучите стоимость за камеру, планы за камеру и временные метрики за камеру для получения информации.
Варианты использования Portal2Bench
- Оценка производительности ИИ-агентов
- Исследование ИИ в играх
- Сравнительный бенчмаркинг ИИ
- Анализ стоимости и эффективности ИИ-моделей
- Разработка планирования и стратегии ИИ






