Перейти к основному содержимому
ToolPotion
ИИ-советник
Отправить

Portal2Bench

Portal2Bench — это бенчмарк, который оценивает способность ИИ-агентов решать тестовые камеры в видеоигре Portal 2. Он измеряет производительность агентов, отслеживая коэффициенты успеха, стоимость за запуск и выполненные планы, с строгими ограничениями на ресурсы и действия. Эта платформа предоставляет стандартизированную среду для сравнения возможностей решения проблем различных ИИ-моделей в сложном виртуальном мире.

Посетить URL
Поделиться
Скриншот Portal2Bench
Скриншот Portal2Bench

Portal2Bench — это специализированный бенчмарк, разработанный для оценки возможностей решения проблем ИИ-агентов в сложной среде игры Valve Portal 2. Платформа измеряет, насколько эффективно ИИ-агенты могут ориентироваться и завершать серию из 26 различных тестовых камер, взятых из глав 2 по 5 игры. Каждая камера представляет собой новую, независимую задачу для агента.

Читать далее

Основная методология включает приостановку Portal 2, пока ИИ-модель обрабатывает информацию и формулирует свои следующие действия. Агент взаимодействует с игрой, отправляя нажатия клавиш и повороты взгляда, получая обратную связь в реальном времени в виде скриншотов и текущего положения в игровом мире. Чтобы обеспечить справедливую и контролируемую оценку, агентам предоставляется ограниченная «папка заметок» для внутренней обработки, но им строго запрещен доступ к внешним ресурсам, таким как оболочка, веб или консоль.

Камера считается «решенной» только в том случае, если ИИ-агент успешно достигает следующей карты в строгих пределах: максимум 300 «планов» (предположительно действий или вычислительных шагов) и предельная стоимость в $30, рассчитанная на основе цен в списке API за использование модели. Это двойное ограничение подчеркивает как эффективность, так и экономическую целесообразность в производительности ИИ-агента.

Portal2Bench также решает проблемы «мошенничества», внедряя надежные проверки качества. Агенты ограничены своей назначенной папкой заметок, что предотвращает любое несанкционированное внешнее взаимодействие. В случае «смерти» агента в игре он возрождается на последней контрольной точке, что отражает обычный игровой процесс Portal 2, и просто информируется о своей гибели без дополнительного контекста. Бенчмарк явно заявляет, что он не связан и не поддерживается Valve, что обеспечивает его независимый исследовательский фокус.

  • КатегорияКонструкторы AI-агентов
  • Модель ценообразованияAPI List Prices
  • РазвёртываниеОблако
  • ПлатформыВеб

  • Оценка производительности ИИ-агентов для Portal 2

  • Оценка по 26 различным тестовым камерам

  • Строгие ограничения на планы (300) и стоимость ($30) за камеру

  • Взаимодействие с игрой в реальном времени через нажатия клавиш и повороты взгляда

  • Визуальный ввод через скриншоты и данные о позиции

  • Изолированная среда без доступа к оболочке, вебу или консоли

  • Внутренняя «папка заметок» для обработки агента

  • Механизм возрождения на контрольных точках после смерти агента

  • Цены из списка API используются для расчета стоимости

  • Проверки качества для предотвращения несанкционированных действий агентов

  • Отслеживание таблицы лидеров для различных ИИ-моделей

  • Независимая исследовательская платформа, не связанная с Valve

  1. Понять цель: Узнайте, что Portal2Bench оценивает способность ИИ-агентов решать тестовые камеры Portal 2.

  2. Изучить критерии бенчмаркинга: Обратите внимание, что успех определяется решением камеры в пределах 300 планов и лимита стоимости в $30.

  3. Наблюдать за взаимодействием агента: Посмотрите, как агенты отправляют команды и повороты взгляда, получая скриншоты и данные о позиции.

  4. Проверить производительность модели: Посмотрите таблицу лидеров, чтобы сравнить, как различные ИИ-модели справляются с бенчмарком.

  5. Анализировать стоимость и эффективность: Изучите стоимость за камеру, планы за камеру и временные метрики за камеру для получения информации.

  • Оценка производительности ИИ-агентов
  • Исследование ИИ в играх
  • Сравнительный бенчмаркинг ИИ
  • Анализ стоимости и эффективности ИИ-моделей
  • Разработка планирования и стратегии ИИ

Отзывы о Portal2Bench

Загрузка...

Популярные ИИ-инструменты, похожие на Portal2Bench

Sketch Stadium

AI-приложения

Sketch Stadium — это онлайн-платформа, предназначенная для подключения и игры с AI-агентами. Она предоставляет среду, в которой пользователи могут интегрировать своих собственных…

ИИ-инструменты для разработки игрИгры и киберспорт
Открыть инструмент

AI-приложения

Онлайн-платформа, предназначенная для подключения и игры с AI-агентами. Она предоставляет среду, в которой пользователи могут интегрировать своих собственных…Sketch Stadium — это онлайн-платформа, предназначенная для подключения и игры с AI-агентами. Она предоставляет среду, в которой пользователи могут интегрировать своих собственных…

ИИ-инструменты для разработки игрИгры и киберспорт
Топ-250: AI-приложения

nunu.ai автоматизирует тестирование игр с помощью AI-агентов, снижая затраты на ручной труд до 50%. Она предлагает интерфейс, похожий на человеческий, и поддерживает несколько…

AI-ревью кода и тестированиеИгры и киберспорт

№104 в AI-ревью кода и тестирование

Открыть инструмент

Автоматизирует тестирование игр с помощью AI-агентов, снижая затраты на ручной труд до 50%. Она предлагает интерфейс, похожий на человеческий, и поддерживает несколько…nunu.ai автоматизирует тестирование игр с помощью AI-агентов, снижая затраты на ручной труд до 50%. Она предлагает интерфейс, похожий на человеческий, и поддерживает несколько…

AI-ревью кода и тестированиеИгры и киберспорт
№104 в AI-ревью кода и тестирование

Otto

AI-приложения

Otto — это терминальный ИИ-агент, который оценивает свою работу по заранее определенным критериям. Он работает на различных платформах, включая кодовые базы и браузеры, используя…

Конструкторы AI-агентов

№57 в Автоматизация браузера и веба

Открыть инструмент

AI-приложения

Терминальный ИИ-агент, который оценивает свою работу по заранее определенным критериям. Он работает на различных платформах, включая кодовые базы и браузеры, используя…Otto — это терминальный ИИ-агент, который оценивает свою работу по заранее определенным критериям. Он работает на различных платформах, включая кодовые базы и браузеры, используя…

Конструкторы AI-агентов
№57 в Автоматизация браузера и веба

Windows Agent Arena

AI-фреймворки

Windows Agent Arena (WAA) — это масштабируемая, открытая фреймворк для оценки мультимодальных ИИ-агентов в операционной системе Windows. Она предоставляет реалистичную среду для…

Конструкторы AI-агентов
Открыть инструмент

AI-фреймворки

Масштабируемая, открытая фреймворк для оценки мультимодальных ИИ-агентов в операционной системе Windows. Она предоставляет реалистичную среду для…Windows Agent Arena (WAA) — это масштабируемая, открытая фреймворк для оценки мультимодальных ИИ-агентов в операционной системе Windows. Она предоставляет реалистичную среду для…

Конструкторы AI-агентов
Топ-50: AI-фреймворки

Tabloy AI Agent

AI-приложения

Tabloy AI Agent — это универсальный инструмент ИИ, который создает приложения, веб-сайты и 3D-игры, создает документы и видео, а также проводит веб-исследования. Он работает…

Конструкторы AI-агентов

№196 в AI-конструкторы сайтов

Открыть инструмент

AI-приложения

Универсальный инструмент ИИ, который создает приложения, веб-сайты и 3D-игры, создает документы и видео, а также проводит веб-исследования. Он работает…Tabloy AI Agent — это универсальный инструмент ИИ, который создает приложения, веб-сайты и 3D-игры, создает документы и видео, а также проводит веб-исследования. Он работает…

Конструкторы AI-агентов
№196 в AI-конструкторы сайтов

WorldClaw

AI-приложения

WorldClaw — это операционная система для ИИ-агентов, предоставляющая доступ к более чем 300 моделям ИИ через WorldRouter. Она предлагает конкурентоспособные пакеты токенов и…

Конструкторы AI-агентов

№173 в Автоматизация и агенты

Открыть инструмент

AI-приложения

Операционная система для ИИ-агентов, предоставляющая доступ к более чем 300 моделям ИИ через WorldRouter. Она предлагает конкурентоспособные пакеты токенов и…WorldClaw — это операционная система для ИИ-агентов, предоставляющая доступ к более чем 300 моделям ИИ через WorldRouter. Она предлагает конкурентоспособные пакеты токенов и…

Конструкторы AI-агентов
№173 в Автоматизация и агенты

modl.ai

AI-приложения

modl.ai использует ИИ-агентов и аналитиков для автоматизации тестирования игр и контроля качества, позволяя командам быстрее находить ошибки, сбои и проблемы с производительностью…

ИИ-инструменты для разработки игрИгры и киберспорт

№20 в Игры и развлечения

Открыть инструмент

AI-приложения

Использует ИИ-агентов и аналитиков для автоматизации тестирования игр и контроля качества, позволяя командам быстрее находить ошибки, сбои и проблемы с производительностью…modl.ai использует ИИ-агентов и аналитиков для автоматизации тестирования игр и контроля качества, позволяя командам быстрее находить ошибки, сбои и проблемы с производительностью…

ИИ-инструменты для разработки игрИгры и киберспорт
№20 в Игры и развлечения

Cadenya

AI-приложения

Cadenya — это платформа выполнения агентов, которая интегрирует инструменты, агентов и цели для повышения эффективности тестирования и работы. Она позволяет пользователям…

Конструкторы AI-агентов
Открыть инструмент

AI-приложения

Платформа выполнения агентов, которая интегрирует инструменты, агентов и цели для повышения эффективности тестирования и работы. Она позволяет пользователям…Cadenya — это платформа выполнения агентов, которая интегрирует инструменты, агентов и цели для повышения эффективности тестирования и работы. Она позволяет пользователям…

Конструкторы AI-агентов
Топ-250: AI-приложения
1 из 8