Saltar al contenido principal
ToolPotion
Asesor de IA
Enviar

Harness Resource Bench

Harness Resource Bench proporciona mediciones detalladas del uso de recursos para varios agentes de codificación, incluyendo tiempo de inicio, memoria, tiempo de CPU, datos de sesión y tamaño de instalación. Evalúa agentes como Claude Code, Codex, fx, omp, opencode, pi y smelt en cargas de trabajo guionizadas idénticas dentro de un entorno de contenedor consistente, ayudando a los usuarios a entender el costo de su máquina. La plataforma ofrece datos comparativos para identificar las herramientas más eficientes.

Visitar URL
Compartir
Captura de pantalla de Harness Resource Bench
Captura de pantalla de Harness Resource Bench

Harness Resource Bench es una plataforma especializada diseñada para medir y comparar meticulosamente el consumo de recursos de diferentes agentes de codificación. Proporciona una visión integral de cuánto impacta cada agente en el rendimiento y los recursos de una máquina, centrándose en métricas críticas como tiempo de inicio, uso de memoria, tiempo de CPU, datos de sesión y tamaño de instalación.

Leer más

La metodología implica ejecutar cada agente de codificación a través de la misma carga de trabajo guionizada dentro de un entorno de contenedor idéntico. Esto asegura equidad y consistencia en las mediciones, permitiendo comparaciones directas entre agentes como fx, smelt, pi, Claude Code, codex, omp y opencode. La plataforma tiene como objetivo identificar qué agentes son más eficientes, con números más bajos indicando un mejor rendimiento.

Las áreas clave de medición incluyen el rendimiento de inicio, detallando qué tan rápido se lanza un agente y sus requisitos iniciales de memoria y disco. También examina la memoria al inicio (después de la primera solicitud con una caché de archivos fría) y el tamaño de instalación, desglosando el espacio en disco por tipo de archivo. Por ejemplo, se señala que el tamaño de instalación de pi incluye Node.js, que es esencial para su funcionamiento.

Para tareas de codificación, el banco mide el tiempo de CPU durante una tarea que involucra 24 llamadas a herramientas, con el modelo transmitiendo 120 tokens por segundo. Distingue entre el uso de CPU sin cabeza (sin la TUI), tiempo adicional de CPU con la TUI y el tiempo mínimo requerido por el terminal (tmux). El análisis de sesiones largas cubre memoria y tiempo de CPU por turno durante 64 turnos, donde los agentes compactan su historial cerca de los límites de contexto. También rastrea datos de sesión en disco, incluyendo transcripciones, historial, bases de datos y registros.

Además, Harness Resource Bench evalúa el uso de recursos durante nuevas sesiones (16 sesiones en un proceso para medir la memoria dejada por sesiones finalizadas) y estados inactivos, registrando el tiempo de CPU y la memoria mientras una sesión abierta se deja sola después de una tarea. Incluso desglosa la memoria inactiva en código, archivos mapeados, heap y datos para proporcionar una comprensión granular de la asignación de recursos. Los datos se presentan como medianas de múltiples ejecuciones, con bigotes y bandas que indican el rango, proporcionando una comparación robusta y confiable para desarrolladores y usuarios.

  • CategoríaHerramientas de DevOps y nube con IA
  • ImplementaciónNube
  • PlataformasWeb

  • Medición integral de recursos para agentes de codificación

  • Evalúa tiempo de inicio, memoria, tiempo de CPU, datos de sesión y tamaño de instalación

  • Compara agentes como fx, smelt, pi, Claude Code, codex, omp, opencode

  • Cargas de trabajo guionizadas estandarizadas en entornos de contenedor consistentes

  • Desglose detallado del rendimiento de inicio (tiempo, memoria, disco)

  • Análisis del tiempo de CPU durante tareas de codificación (sin cabeza, TUI, terminal)

  • Medición de memoria y tiempo de CPU en sesiones largas (64 turnos)

  • Seguimiento de datos de sesión almacenados en disco (transcripciones, historial, registros)

  • Evaluación de la huella de memoria para nuevas sesiones

  • Monitoreo del tiempo de CPU y uso de memoria durante estados inactivos

  • Desglose granular de la memoria inactiva en código, heap y datos

  • Valores medianos y rangos para todas las mediciones

  • Comparación de características de agentes y sus implicaciones de costo de recursos

  • Datos recopilados en una máquina AMD Ryzen 9 7900X con recursos fijos

  1. Acceder a los Benchmarks: Navega al sitio web de Harness Resource Bench para ver los últimos datos de uso de recursos.

  2. Revisar el Resumen de Agentes: Examina el uso medio de recursos para varios agentes de codificación a través de diferentes métricas.

  3. Ordenar Datos: Haz clic en cualquier encabezado de columna para ordenar los datos por métricas específicas como tiempo de inicio o uso de CPU.

  4. Comparar Agentes: Analiza el rendimiento de cada agente, notando qué agentes lideran en categorías específicas (por ejemplo, fx para tiempo de inicio).

  5. Entender Métricas: Explora explicaciones detalladas para cada categoría de medición, como 'Inicio', 'Una tarea de codificación', 'Una sesión larga' y 'Inactivo'.

  6. Consultar Secciones de Por Qué: Lee las secciones de 'Por Qué' para obtener información sobre las razones subyacentes del comportamiento de recursos observado de cada agente.

  • Selección de Agentes de Codificación
  • Optimización del Rendimiento
  • Planificación de Recursos
  • Análisis Comparativo
  • Evaluación de Herramientas para Desarrolladores

Reseñas de Harness Resource Bench

Cargando...

Herramientas de IA populares como Harness Resource Bench

Oqoqo

Apps de IA

Oqoqo permite a los usuarios realizar experimentos de evaluación a gran escala en entornos realistas utilizando infraestructura en la nube gestionada. Permite la creación de…

Herramientas de DevOps y nube con IA

N.º 147 para Ajuste fino de modelos de AI

Ver herramienta

Apps de IA

Permite a los usuarios realizar experimentos de evaluación a gran escala en entornos realistas utilizando infraestructura en la nube gestionada. Permite la creación de…Oqoqo permite a los usuarios realizar experimentos de evaluación a gran escala en entornos realistas utilizando infraestructura en la nube gestionada. Permite la creación de…

Herramientas de DevOps y nube con IA
N.º 147 para Ajuste fino de modelos de AI

Caprock

Apps de IA

Caprock es una aplicación de escritorio gratuita y de código abierto para macOS, Windows y Linux que actúa como un libro de contabilidad para todos tus agentes de codificación,…

Asistentes de programación con IA

N.º 224 para Monitoreo de modelos de AI

Ver herramienta

Apps de IA

Aplicación de escritorio gratuita y de código abierto para macOS, Windows y Linux que actúa como un libro de contabilidad para todos tus agentes de codificación,…Caprock es una aplicación de escritorio gratuita y de código abierto para macOS, Windows y Linux que actúa como un libro de contabilidad para todos tus agentes de codificación,…

Asistentes de programación con IA
N.º 224 para Monitoreo de modelos de AI

Tokenwise

Apps de IA

Tokenwise es una herramienta de optimización de costos y rendimiento para APIs de LLM. Ayuda a desarrolladores y pequeños equipos a ahorrar más del 30% en costos de API al…

Herramientas de DevOps y nube con IA

N.º 161 en Herramientas de DevOps y nube con IA

Ver herramienta

Apps de IA

Herramienta de optimización de costos y rendimiento para APIs de LLM. Ayuda a desarrolladores y pequeños equipos a ahorrar más del 30% en costos de API al…Tokenwise es una herramienta de optimización de costos y rendimiento para APIs de LLM. Ayuda a desarrolladores y pequeños equipos a ahorrar más del 30% en costos de API al…

Herramientas de DevOps y nube con IA
N.º 161 en Herramientas de DevOps y nube con IA

Tally by OpenOrigins proporciona una plataforma unificada para gestionar y monitorear los agentes de IA de su equipo. Ofrece transparencia en las actividades de los agentes,…

Herramientas de DevOps y nube con IA
Ver herramienta

Proporciona una plataforma unificada para gestionar y monitorear los agentes de IA de su equipo. Ofrece transparencia en las actividades de los agentes,…Tally by OpenOrigins proporciona una plataforma unificada para gestionar y monitorear los agentes de IA de su equipo. Ofrece transparencia en las actividades de los agentes,…

Herramientas de DevOps y nube con IA
Ver el Top 250 de Apps de IA

TokenEconomizer

Repositorios de IA en GitHub

TokenEconomizer es un proyecto de GitHub de Microsoft que proporciona control de costos en caja negra impulsado por la experiencia para agentes de codificación. Ayuda a gestionar…

Herramientas de DevOps y nube con IA
Ver herramienta

Repositorios de IA en GitHub

Proyecto de GitHub de Microsoft que proporciona control de costos en caja negra impulsado por la experiencia para agentes de codificación. Ayuda a gestionar…TokenEconomizer es un proyecto de GitHub de Microsoft que proporciona control de costos en caja negra impulsado por la experiencia para agentes de codificación. Ayuda a gestionar…

Herramientas de DevOps y nube con IA
Ver el Top 250 de Repositorios de IA en GitHub

Vantage AI Workflows optimiza la infraestructura de IA al monitorear e integrarse con flujos de trabajo existentes. Proporciona herramientas para el análisis de costos impulsado…

Herramientas de DevOps y nube con IAFinanzas y banca
Ver herramienta

Optimiza la infraestructura de IA al monitorear e integrarse con flujos de trabajo existentes. Proporciona herramientas para el análisis de costos impulsado…Vantage AI Workflows optimiza la infraestructura de IA al monitorear e integrarse con flujos de trabajo existentes. Proporciona herramientas para el análisis de costos impulsado…

Herramientas de DevOps y nube con IAFinanzas y banca
Ver el Top 250 de Apps de IA

IQ

Apps de IA

IQ proporciona un panel unificado para monitorear y gestionar el uso y gasto de IA de su equipo a través de múltiples proveedores. Ofrece controles robustos para presupuestos,…

Herramientas de DevOps y nube con IA

N.º 97 para Seguimiento de gastos y presupuestos

Ver herramienta

Apps de IA

Proporciona un panel unificado para monitorear y gestionar el uso y gasto de IA de su equipo a través de múltiples proveedores. Ofrece controles robustos para presupuestos,…IQ proporciona un panel unificado para monitorear y gestionar el uso y gasto de IA de su equipo a través de múltiples proveedores. Ofrece controles robustos para presupuestos,…

Herramientas de DevOps y nube con IA
N.º 97 para Seguimiento de gastos y presupuestos

Herramienta gratuita y de código abierto para construir, ejecutar, depurar y desplegar aplicaciones distribuidas en cualquier lenguaje, pila o nube. Ofrece un…Aspire es una herramienta gratuita y de código abierto para construir, ejecutar, depurar y desplegar aplicaciones distribuidas en cualquier lenguaje, pila o nube. Ofrece un…

Herramientas de DevOps y nube con IA
Ver el Top 250 de Apps de IA
1 de 8