Перейти к основному содержимому
ToolPotion
ИИ-советник
Отправить

Harness Resource Bench

Harness Resource Bench предоставляет детальные измерения использования ресурсов для различных кодирующих агентов, включая время запуска, память, время ЦП, данные сессии и размер установки. Он оценивает таких агентов, как Claude Code, Codex, fx, omp, opencode, pi и smelt на идентичных сценарных нагрузках в рамках единой контейнерной среды, помогая пользователям понять стоимость их машин. Платформа предлагает сравнительные данные для определения наиболее эффективных инструментов.

Посетить URL
Поделиться
Скриншот Harness Resource Bench
Скриншот Harness Resource Bench

Harness Resource Bench — это специализированная платформа, предназначенная для тщательного измерения и сравнения потребления ресурсов различных кодирующих агентов. Она предоставляет всесторонний обзор того, как каждый агент влияет на производительность и ресурсы машины, сосредотачиваясь на критически важных метриках, таких как время запуска, использование памяти, время ЦП, данные сессии и размер установки.

Читать далее

Методология включает запуск каждого кодирующего агента через одну и ту же сценарную нагрузку в рамках идентичной контейнерной среды. Это обеспечивает справедливость и последовательность в измерениях, позволяя проводить прямые сравнения между такими агентами, как fx, smelt, pi, Claude Code, codex, omp и opencode. Платформа нацелена на определение наиболее эффективных агентов, при этом более низкие значения указывают на лучшую производительность.

Ключевые области измерения включают производительность запуска, подробно описывающую, насколько быстро агент запускается и его первоначальные требования к памяти и диску. Она также изучает память при запуске (после первого запроса с холодным файловым кэшем) и размер установки, разбивая дисковое пространство по типам файлов. Например, отмечается, что размер установки pi включает Node.js, который необходим для его работы.

Для кодирующих задач бенчмарк измеряет время ЦП во время задачи, включающей 24 вызова инструментов, при этом модель передает 120 токенов в секунду. Он различает использование ЦП без графического интерфейса (без TUI), дополнительное время ЦП с TUI и минимальное время, необходимое терминалу (tmux). Долгосрочный анализ сессий охватывает память и время ЦП за ход в течение 64 ходов, где агенты сжимают свою историю вблизи пределов контекста. Он также отслеживает данные сессии на диске, включая стенограммы, историю, базы данных и журналы.

Кроме того, Harness Resource Bench оценивает использование ресурсов во время новых сессий (16 сессий в одном процессе для измерения оставшейся памяти после завершенных сессий) и в состоянии простоя, фиксируя время ЦП и память, пока открытая сессия остается без внимания после задачи. Он даже разбивает память в состоянии простоя на код, сопоставленные файлы, кучу и данные, чтобы предоставить детальное понимание распределения ресурсов. Данные представлены как медианы нескольких запусков, с усами и полосами, указывающими диапазон, предоставляя надежное и достоверное сравнение для разработчиков и пользователей.

  • КатегорияAI-инструменты для DevOps и облака
  • РазвёртываниеОблако
  • ПлатформыВеб

  • Всеобъемлющее измерение ресурсов для кодирующих агентов

  • Оценка времени запуска, памяти, времени ЦП, данных сессии и размера установки

  • Сравнение агентов, таких как fx, smelt, pi, Claude Code, codex, omp, opencode

  • Стандартизированные сценарные нагрузки в последовательных контейнерных средах

  • Подробный анализ производительности запуска (время, память, диск)

  • Анализ времени ЦП во время кодирующих задач (без графического интерфейса, TUI, терминал)

  • Измерение памяти и времени ЦП в долгих сессиях (64 хода)

  • Отслеживание данных сессий, хранящихся на диске (стенограммы, история, журналы)

  • Оценка объема памяти для новых сессий

  • Мониторинг времени ЦП и использования памяти в состоянии простоя

  • Детальный анализ памяти в состоянии простоя на код, кучу и данные

  • Медианные значения и диапазоны для всех измерений

  • Сравнение характеристик агентов и их влияния на стоимость ресурсов

  • Данные собраны на машине AMD Ryzen 9 7900X с фиксированными ресурсами

  1. Доступ к бенчмаркам: Перейдите на сайт Harness Resource Bench, чтобы просмотреть последние данные об использовании ресурсов.

  2. Обзор агентов: Изучите медианное использование ресурсов для различных кодирующих агентов по различным метрикам.

  3. Сортировка данных: Нажмите на заголовок любого столбца, чтобы отсортировать данные по конкретным метрикам, таким как время запуска или использование ЦП.

  4. Сравнение агентов: Анализируйте производительность отдельных агентов, отмечая, какие агенты лидируют в конкретных категориях (например, fx по времени запуска).

  5. Понимание метрик: Изучите подробные объяснения для каждой категории измерений, такие как «Запуск», «Кодирующая задача», «Долгая сессия» и «Простой».

  6. Консультация разделов «Почему»: Читайте разделы «Почему» для получения информации о причинах наблюдаемого поведения ресурсов каждого агента.

  • Выбор кодирующего агента
  • Оптимизация производительности
  • Планирование ресурсов
  • Сравнительный анализ
  • Оценка инструментов для разработчиков

Отзывы о Harness Resource Bench

Загрузка...

Популярные ИИ-инструменты, похожие на Harness Resource Bench

Oqoqo

AI-приложения

Oqoqo позволяет пользователям проводить оценочные эксперименты в масштабах в реалистичных условиях, используя управляемую облачную инфраструктуру. Он позволяет создавать…

AI-инструменты для DevOps и облака

№147 — Тонкая настройка AI-моделей

Открыть инструмент

AI-приложения

Позволяет пользователям проводить оценочные эксперименты в масштабах в реалистичных условиях, используя управляемую облачную инфраструктуру. Он позволяет создавать…Oqoqo позволяет пользователям проводить оценочные эксперименты в масштабах в реалистичных условиях, используя управляемую облачную инфраструктуру. Он позволяет создавать…

AI-инструменты для DevOps и облака
№147 — Тонкая настройка AI-моделей

Caprock

AI-приложения

Caprock — это бесплатное приложение с открытым исходным кодом для настольных ПК на macOS, Windows и Linux, которое служит бухгалтерской книгой для всех ваших кодирующих агентов,…

AI-помощники для программирования

№224 — Мониторинг AI-моделей

Открыть инструмент

AI-приложения

Бесплатное приложение с открытым исходным кодом для настольных ПК на macOS, Windows и Linux, которое служит бухгалтерской книгой для всех ваших кодирующих агентов,…Caprock — это бесплатное приложение с открытым исходным кодом для настольных ПК на macOS, Windows и Linux, которое служит бухгалтерской книгой для всех ваших кодирующих агентов,…

AI-помощники для программирования
№224 — Мониторинг AI-моделей

Tokenwise

AI-приложения

Tokenwise — это инструмент для оптимизации затрат и производительности LLM API. Он помогает разработчикам и небольшим командам сэкономить более 30% на затратах API, отслеживая…

AI-инструменты для DevOps и облака

№161 в AI-инструменты для DevOps и облака

Открыть инструмент

AI-приложения

Инструмент для оптимизации затрат и производительности LLM API. Он помогает разработчикам и небольшим командам сэкономить более 30% на затратах API, отслеживая…Tokenwise — это инструмент для оптимизации затрат и производительности LLM API. Он помогает разработчикам и небольшим командам сэкономить более 30% на затратах API, отслеживая…

AI-инструменты для DevOps и облака
№161 в AI-инструменты для DevOps и облака

Tally by OpenOrigins

AI-приложения

Tally by OpenOrigins предоставляет единую платформу для управления и мониторинга AI-агентов вашей команды. Она обеспечивает прозрачность действий агентов, отслеживает расходы и…

AI-инструменты для DevOps и облака
Открыть инструмент

AI-приложения

Предоставляет единую платформу для управления и мониторинга AI-агентов вашей команды. Она обеспечивает прозрачность действий агентов, отслеживает расходы и…Tally by OpenOrigins предоставляет единую платформу для управления и мониторинга AI-агентов вашей команды. Она обеспечивает прозрачность действий агентов, отслеживает расходы и…

AI-инструменты для DevOps и облака
Топ-250: AI-приложения

TokenEconomizer

AI-репозитории на GitHub

TokenEconomizer — это проект GitHub от Microsoft, который предоставляет управляемый опытом черный ящик для контроля затрат на кодирующие агенты. Он помогает управлять и…

AI-инструменты для DevOps и облака
Открыть инструмент

AI-репозитории на GitHub

Проект GitHub от Microsoft, который предоставляет управляемый опытом черный ящик для контроля затрат на кодирующие агенты. Он помогает управлять и…TokenEconomizer — это проект GitHub от Microsoft, который предоставляет управляемый опытом черный ящик для контроля затрат на кодирующие агенты. Он помогает управлять и…

AI-инструменты для DevOps и облака
Топ-250: AI-репозитории на GitHub

Vantage AI Workflows

AI-приложения

Vantage AI Workflows оптимизирует инфраструктуру ИИ, контролируя и интегрируя существующие рабочие процессы. Он предоставляет инструменты для анализа затрат на основе ИИ, позволяя…

AI-инструменты для DevOps и облакаФинансы и банковское дело
Открыть инструмент

AI-приложения

Vantage AI Workflows оптимизирует инфраструктуру ИИ, контролируя и интегрируя существующие рабочие процессы. Он предоставляет инструменты для анализа затрат на основе ИИ, позволяя…

AI-инструменты для DevOps и облакаФинансы и банковское дело
Топ-250: AI-приложения

IQ

AI-приложения

IQ предоставляет единый интерфейс для мониторинга и управления использованием ИИ и расходами вашей команды у различных поставщиков. Он предлагает надежные инструменты для контроля…

AI-инструменты для DevOps и облака

№97 — Отслеживание расходов и бюджетов

Открыть инструмент

AI-приложения

Предоставляет единый интерфейс для мониторинга и управления использованием ИИ и расходами вашей команды у различных поставщиков. Он предлагает надежные инструменты для контроля…IQ предоставляет единый интерфейс для мониторинга и управления использованием ИИ и расходами вашей команды у различных поставщиков. Он предлагает надежные инструменты для контроля…

AI-инструменты для DevOps и облака
№97 — Отслеживание расходов и бюджетов

Бесплатный инструмент с открытым исходным кодом для создания, запуска, отладки и развертывания распределенных приложений на любом языке, стеке или облаке. Он…Aspire — это бесплатный инструмент с открытым исходным кодом для создания, запуска, отладки и развертывания распределенных приложений на любом языке, стеке или облаке. Он…

AI-инструменты для DevOps и облака
Топ-250: AI-приложения
1 из 8