Description
Harness Resource Bench est une plateforme spécialisée conçue pour mesurer et comparer méticuleusement la consommation de ressources de différents agents de codage. Elle fournit un aperçu complet de l'impact de chaque agent sur les performances et les ressources d'une machine, en se concentrant sur des métriques critiques telles que le temps de démarrage, l'utilisation de la mémoire, le temps CPU, les données de session et la taille d'installation.
Lire la suite
La méthodologie consiste à exécuter chaque agent de codage à travers la même charge de travail scriptée dans un environnement de conteneur identique. Cela garantit l'équité et la cohérence des mesures, permettant des comparaisons directes entre des agents comme fx, smelt, pi, Claude Code, codex, omp et opencode. La plateforme vise à identifier quels agents sont les plus efficaces, des chiffres plus bas indiquant de meilleures performances.
Les domaines clés de mesure incluent la performance au démarrage, détaillant la rapidité avec laquelle un agent se lance et ses exigences initiales en mémoire et en disque. Elle examine également la mémoire au démarrage (après la première requête avec un cache de fichiers froid) et la taille d'installation, décomposant l'espace disque par type de fichier. Par exemple, elle note que la taille d'installation de pi inclut Node.js, qui est essentiel à son fonctionnement.
Pour les tâches de codage, le banc mesure le temps CPU pendant une tâche impliquant 24 appels d'outils, le modèle diffusant 120 tokens par seconde. Il différencie entre l'utilisation CPU sans interface utilisateur (sans le TUI), le temps CPU supplémentaire avec le TUI, et le temps minimal requis par le terminal (tmux). L'analyse des longues sessions couvre la mémoire et le temps CPU par tour sur 64 tours, où les agents compactent leur historique près des limites de contexte. Elle suit également les données de session sur disque, y compris les transcriptions, l'historique, les bases de données et les journaux.
De plus, Harness Resource Bench évalue l'utilisation des ressources pendant de nouvelles sessions (16 sessions dans un processus pour mesurer la mémoire laissée par les sessions terminées) et les états d'inactivité, enregistrant le temps CPU et la mémoire pendant qu'une session ouverte est laissée seule après une tâche. Elle décompose même la mémoire inactive en code, fichiers mappés, tas et données pour fournir une compréhension granulaire de l'allocation des ressources. Les données sont présentées sous forme de médianes de plusieurs exécutions, avec des moustaches et des bandes indiquant la plage, fournissant une comparaison robuste et fiable pour les développeurs et les utilisateurs.
- CatégorieOutils DevOps et cloud IA
- DéploiementCloud
- PlateformesWeb
Fonctionnalités principales de Harness Resource Bench
Mesure complète des ressources pour les agents de codage
Évalue le temps de démarrage, la mémoire, le temps CPU, les données de session et la taille d'installation
Compare des agents comme fx, smelt, pi, Claude Code, codex, omp, opencode
Charges de travail scriptées standardisées dans des environnements de conteneur cohérents
Décomposition détaillée de la performance au démarrage (temps, mémoire, disque)
Analyse du temps CPU pendant les tâches de codage (sans interface, TUI, terminal)
Mesure de la mémoire et du temps CPU lors de longues sessions (64 tours)
Suivi des données de session stockées sur disque (transcriptions, historique, journaux)
Évaluation de l'empreinte mémoire pour les nouvelles sessions
Surveillance du temps CPU et de l'utilisation de la mémoire pendant les états d'inactivité
Décomposition granulaire de la mémoire inactive en code, tas et données
Valeurs médianes et plages pour toutes les mesures
Comparaison des fonctionnalités des agents et de leurs implications en termes de coût des ressources
Données collectées sur une machine AMD Ryzen 9 7900X avec des ressources fixes
Comment utiliser Harness Resource Bench ?
Accéder aux benchmarks : Naviguez vers le site de Harness Resource Bench pour consulter les dernières données d'utilisation des ressources.
Examiner l'aperçu des agents : Examinez l'utilisation médiane des ressources pour divers agents de codage à travers différentes métriques.
Trier les données : Cliquez sur l'en-tête de n'importe quelle colonne pour trier les données par des métriques spécifiques comme le temps de démarrage ou l'utilisation CPU.
Comparer les agents : Analysez la performance individuelle des agents, en notant quels agents se distinguent dans des catégories spécifiques (par exemple, fx pour le temps de démarrage).
Comprendre les métriques : Explorez des explications détaillées pour chaque catégorie de mesure, telles que « Démarrer », « Une tâche de codage », « Une longue session » et « Inactif ».
Consulter les sections Pourquoi : Lisez les sections « Pourquoi » pour des aperçus sur les raisons sous-jacentes des comportements observés des ressources de chaque agent.
Cas d'utilisation de Harness Resource Bench
- Sélection d'agent de codage
- Optimisation des performances
- Planification des ressources
- Analyse comparative
- Évaluation des outils pour développeurs






