Описание
Harness Resource Bench — это специализированная платформа, предназначенная для тщательного измерения и сравнения потребления ресурсов различных кодирующих агентов. Она предоставляет всесторонний обзор того, как каждый агент влияет на производительность и ресурсы машины, сосредотачиваясь на критически важных метриках, таких как время запуска, использование памяти, время ЦП, данные сессии и размер установки.
Читать далее
Методология включает запуск каждого кодирующего агента через одну и ту же сценарную нагрузку в рамках идентичной контейнерной среды. Это обеспечивает справедливость и последовательность в измерениях, позволяя проводить прямые сравнения между такими агентами, как fx, smelt, pi, Claude Code, codex, omp и opencode. Платформа нацелена на определение наиболее эффективных агентов, при этом более низкие значения указывают на лучшую производительность.
Ключевые области измерения включают производительность запуска, подробно описывающую, насколько быстро агент запускается и его первоначальные требования к памяти и диску. Она также изучает память при запуске (после первого запроса с холодным файловым кэшем) и размер установки, разбивая дисковое пространство по типам файлов. Например, отмечается, что размер установки pi включает Node.js, который необходим для его работы.
Для кодирующих задач бенчмарк измеряет время ЦП во время задачи, включающей 24 вызова инструментов, при этом модель передает 120 токенов в секунду. Он различает использование ЦП без графического интерфейса (без TUI), дополнительное время ЦП с TUI и минимальное время, необходимое терминалу (tmux). Долгосрочный анализ сессий охватывает память и время ЦП за ход в течение 64 ходов, где агенты сжимают свою историю вблизи пределов контекста. Он также отслеживает данные сессии на диске, включая стенограммы, историю, базы данных и журналы.
Кроме того, Harness Resource Bench оценивает использование ресурсов во время новых сессий (16 сессий в одном процессе для измерения оставшейся памяти после завершенных сессий) и в состоянии простоя, фиксируя время ЦП и память, пока открытая сессия остается без внимания после задачи. Он даже разбивает память в состоянии простоя на код, сопоставленные файлы, кучу и данные, чтобы предоставить детальное понимание распределения ресурсов. Данные представлены как медианы нескольких запусков, с усами и полосами, указывающими диапазон, предоставляя надежное и достоверное сравнение для разработчиков и пользователей.
- КатегорияAI-инструменты для DevOps и облака
- РазвёртываниеОблако
- ПлатформыВеб
Основные функции Harness Resource Bench
Всеобъемлющее измерение ресурсов для кодирующих агентов
Оценка времени запуска, памяти, времени ЦП, данных сессии и размера установки
Сравнение агентов, таких как fx, smelt, pi, Claude Code, codex, omp, opencode
Стандартизированные сценарные нагрузки в последовательных контейнерных средах
Подробный анализ производительности запуска (время, память, диск)
Анализ времени ЦП во время кодирующих задач (без графического интерфейса, TUI, терминал)
Измерение памяти и времени ЦП в долгих сессиях (64 хода)
Отслеживание данных сессий, хранящихся на диске (стенограммы, история, журналы)
Оценка объема памяти для новых сессий
Мониторинг времени ЦП и использования памяти в состоянии простоя
Детальный анализ памяти в состоянии простоя на код, кучу и данные
Медианные значения и диапазоны для всех измерений
Сравнение характеристик агентов и их влияния на стоимость ресурсов
Данные собраны на машине AMD Ryzen 9 7900X с фиксированными ресурсами
Как использовать Harness Resource Bench?
Доступ к бенчмаркам: Перейдите на сайт Harness Resource Bench, чтобы просмотреть последние данные об использовании ресурсов.
Обзор агентов: Изучите медианное использование ресурсов для различных кодирующих агентов по различным метрикам.
Сортировка данных: Нажмите на заголовок любого столбца, чтобы отсортировать данные по конкретным метрикам, таким как время запуска или использование ЦП.
Сравнение агентов: Анализируйте производительность отдельных агентов, отмечая, какие агенты лидируют в конкретных категориях (например, fx по времени запуска).
Понимание метрик: Изучите подробные объяснения для каждой категории измерений, такие как «Запуск», «Кодирующая задача», «Долгая сессия» и «Простой».
Консультация разделов «Почему»: Читайте разделы «Почему» для получения информации о причинах наблюдаемого поведения ресурсов каждого агента.
Варианты использования Harness Resource Bench
- Выбор кодирующего агента
- Оптимизация производительности
- Планирование ресурсов
- Сравнительный анализ
- Оценка инструментов для разработчиков






