Descripción
Harness Resource Bench es una plataforma especializada diseñada para medir y comparar meticulosamente el consumo de recursos de diferentes agentes de codificación. Proporciona una visión integral de cuánto impacta cada agente en el rendimiento y los recursos de una máquina, centrándose en métricas críticas como tiempo de inicio, uso de memoria, tiempo de CPU, datos de sesión y tamaño de instalación.
Leer más
La metodología implica ejecutar cada agente de codificación a través de la misma carga de trabajo guionizada dentro de un entorno de contenedor idéntico. Esto asegura equidad y consistencia en las mediciones, permitiendo comparaciones directas entre agentes como fx, smelt, pi, Claude Code, codex, omp y opencode. La plataforma tiene como objetivo identificar qué agentes son más eficientes, con números más bajos indicando un mejor rendimiento.
Las áreas clave de medición incluyen el rendimiento de inicio, detallando qué tan rápido se lanza un agente y sus requisitos iniciales de memoria y disco. También examina la memoria al inicio (después de la primera solicitud con una caché de archivos fría) y el tamaño de instalación, desglosando el espacio en disco por tipo de archivo. Por ejemplo, se señala que el tamaño de instalación de pi incluye Node.js, que es esencial para su funcionamiento.
Para tareas de codificación, el banco mide el tiempo de CPU durante una tarea que involucra 24 llamadas a herramientas, con el modelo transmitiendo 120 tokens por segundo. Distingue entre el uso de CPU sin cabeza (sin la TUI), tiempo adicional de CPU con la TUI y el tiempo mínimo requerido por el terminal (tmux). El análisis de sesiones largas cubre memoria y tiempo de CPU por turno durante 64 turnos, donde los agentes compactan su historial cerca de los límites de contexto. También rastrea datos de sesión en disco, incluyendo transcripciones, historial, bases de datos y registros.
Además, Harness Resource Bench evalúa el uso de recursos durante nuevas sesiones (16 sesiones en un proceso para medir la memoria dejada por sesiones finalizadas) y estados inactivos, registrando el tiempo de CPU y la memoria mientras una sesión abierta se deja sola después de una tarea. Incluso desglosa la memoria inactiva en código, archivos mapeados, heap y datos para proporcionar una comprensión granular de la asignación de recursos. Los datos se presentan como medianas de múltiples ejecuciones, con bigotes y bandas que indican el rango, proporcionando una comparación robusta y confiable para desarrolladores y usuarios.
- CategoríaHerramientas de DevOps y nube con IA
- ImplementaciónNube
- PlataformasWeb
Características principales de Harness Resource Bench
Medición integral de recursos para agentes de codificación
Evalúa tiempo de inicio, memoria, tiempo de CPU, datos de sesión y tamaño de instalación
Compara agentes como fx, smelt, pi, Claude Code, codex, omp, opencode
Cargas de trabajo guionizadas estandarizadas en entornos de contenedor consistentes
Desglose detallado del rendimiento de inicio (tiempo, memoria, disco)
Análisis del tiempo de CPU durante tareas de codificación (sin cabeza, TUI, terminal)
Medición de memoria y tiempo de CPU en sesiones largas (64 turnos)
Seguimiento de datos de sesión almacenados en disco (transcripciones, historial, registros)
Evaluación de la huella de memoria para nuevas sesiones
Monitoreo del tiempo de CPU y uso de memoria durante estados inactivos
Desglose granular de la memoria inactiva en código, heap y datos
Valores medianos y rangos para todas las mediciones
Comparación de características de agentes y sus implicaciones de costo de recursos
Datos recopilados en una máquina AMD Ryzen 9 7900X con recursos fijos
¿Cómo usar Harness Resource Bench?
Acceder a los Benchmarks: Navega al sitio web de Harness Resource Bench para ver los últimos datos de uso de recursos.
Revisar el Resumen de Agentes: Examina el uso medio de recursos para varios agentes de codificación a través de diferentes métricas.
Ordenar Datos: Haz clic en cualquier encabezado de columna para ordenar los datos por métricas específicas como tiempo de inicio o uso de CPU.
Comparar Agentes: Analiza el rendimiento de cada agente, notando qué agentes lideran en categorías específicas (por ejemplo, fx para tiempo de inicio).
Entender Métricas: Explora explicaciones detalladas para cada categoría de medición, como 'Inicio', 'Una tarea de codificación', 'Una sesión larga' y 'Inactivo'.
Consultar Secciones de Por Qué: Lee las secciones de 'Por Qué' para obtener información sobre las razones subyacentes del comportamiento de recursos observado de cada agente.
Casos de uso de Harness Resource Bench
- Selección de Agentes de Codificación
- Optimización del Rendimiento
- Planificación de Recursos
- Análisis Comparativo
- Evaluación de Herramientas para Desarrolladores






