Aller au contenu principal
ToolPotion
Conseiller IA
Soumettre

Harness Resource Bench

Harness Resource Bench fournit des mesures détaillées de l'utilisation des ressources pour divers agents de codage, y compris le temps de démarrage, la mémoire, le temps CPU, les données de session et la taille d'installation. Il évalue des agents comme Claude Code, Codex, fx, omp, opencode, pi et smelt sur des charges de travail scriptées identiques dans un environnement de conteneur cohérent, aidant les utilisateurs à comprendre le coût de leur machine. La plateforme offre des données comparatives pour identifier les outils les plus efficaces.

Visiter l'URL
Partager
Capture d’écran de Harness Resource Bench
Capture d’écran de Harness Resource Bench

Harness Resource Bench est une plateforme spécialisée conçue pour mesurer et comparer méticuleusement la consommation de ressources de différents agents de codage. Elle fournit un aperçu complet de l'impact de chaque agent sur les performances et les ressources d'une machine, en se concentrant sur des métriques critiques telles que le temps de démarrage, l'utilisation de la mémoire, le temps CPU, les données de session et la taille d'installation.

Lire la suite

La méthodologie consiste à exécuter chaque agent de codage à travers la même charge de travail scriptée dans un environnement de conteneur identique. Cela garantit l'équité et la cohérence des mesures, permettant des comparaisons directes entre des agents comme fx, smelt, pi, Claude Code, codex, omp et opencode. La plateforme vise à identifier quels agents sont les plus efficaces, des chiffres plus bas indiquant de meilleures performances.

Les domaines clés de mesure incluent la performance au démarrage, détaillant la rapidité avec laquelle un agent se lance et ses exigences initiales en mémoire et en disque. Elle examine également la mémoire au démarrage (après la première requête avec un cache de fichiers froid) et la taille d'installation, décomposant l'espace disque par type de fichier. Par exemple, elle note que la taille d'installation de pi inclut Node.js, qui est essentiel à son fonctionnement.

Pour les tâches de codage, le banc mesure le temps CPU pendant une tâche impliquant 24 appels d'outils, le modèle diffusant 120 tokens par seconde. Il différencie entre l'utilisation CPU sans interface utilisateur (sans le TUI), le temps CPU supplémentaire avec le TUI, et le temps minimal requis par le terminal (tmux). L'analyse des longues sessions couvre la mémoire et le temps CPU par tour sur 64 tours, où les agents compactent leur historique près des limites de contexte. Elle suit également les données de session sur disque, y compris les transcriptions, l'historique, les bases de données et les journaux.

De plus, Harness Resource Bench évalue l'utilisation des ressources pendant de nouvelles sessions (16 sessions dans un processus pour mesurer la mémoire laissée par les sessions terminées) et les états d'inactivité, enregistrant le temps CPU et la mémoire pendant qu'une session ouverte est laissée seule après une tâche. Elle décompose même la mémoire inactive en code, fichiers mappés, tas et données pour fournir une compréhension granulaire de l'allocation des ressources. Les données sont présentées sous forme de médianes de plusieurs exécutions, avec des moustaches et des bandes indiquant la plage, fournissant une comparaison robuste et fiable pour les développeurs et les utilisateurs.

  • CatégorieOutils DevOps et cloud IA
  • DéploiementCloud
  • PlateformesWeb

  • Mesure complète des ressources pour les agents de codage

  • Évalue le temps de démarrage, la mémoire, le temps CPU, les données de session et la taille d'installation

  • Compare des agents comme fx, smelt, pi, Claude Code, codex, omp, opencode

  • Charges de travail scriptées standardisées dans des environnements de conteneur cohérents

  • Décomposition détaillée de la performance au démarrage (temps, mémoire, disque)

  • Analyse du temps CPU pendant les tâches de codage (sans interface, TUI, terminal)

  • Mesure de la mémoire et du temps CPU lors de longues sessions (64 tours)

  • Suivi des données de session stockées sur disque (transcriptions, historique, journaux)

  • Évaluation de l'empreinte mémoire pour les nouvelles sessions

  • Surveillance du temps CPU et de l'utilisation de la mémoire pendant les états d'inactivité

  • Décomposition granulaire de la mémoire inactive en code, tas et données

  • Valeurs médianes et plages pour toutes les mesures

  • Comparaison des fonctionnalités des agents et de leurs implications en termes de coût des ressources

  • Données collectées sur une machine AMD Ryzen 9 7900X avec des ressources fixes

  1. Accéder aux benchmarks : Naviguez vers le site de Harness Resource Bench pour consulter les dernières données d'utilisation des ressources.

  2. Examiner l'aperçu des agents : Examinez l'utilisation médiane des ressources pour divers agents de codage à travers différentes métriques.

  3. Trier les données : Cliquez sur l'en-tête de n'importe quelle colonne pour trier les données par des métriques spécifiques comme le temps de démarrage ou l'utilisation CPU.

  4. Comparer les agents : Analysez la performance individuelle des agents, en notant quels agents se distinguent dans des catégories spécifiques (par exemple, fx pour le temps de démarrage).

  5. Comprendre les métriques : Explorez des explications détaillées pour chaque catégorie de mesure, telles que « Démarrer », « Une tâche de codage », « Une longue session » et « Inactif ».

  6. Consulter les sections Pourquoi : Lisez les sections « Pourquoi » pour des aperçus sur les raisons sous-jacentes des comportements observés des ressources de chaque agent.

  • Sélection d'agent de codage
  • Optimisation des performances
  • Planification des ressources
  • Analyse comparative
  • Évaluation des outils pour développeurs

Avis sur Harness Resource Bench

Chargement...

Outils IA populaires comme Harness Resource Bench

Oqoqo

Applications IA

Oqoqo permet aux utilisateurs de réaliser des expériences d'évaluation à grande échelle dans des environnements réalistes en utilisant une infrastructure cloud gérée. Il permet la…

Outils DevOps et cloud IA

N°147 pour Ajustement fin des modèles AI

Voir l'outil

Applications IA

Permet aux utilisateurs de réaliser des expériences d'évaluation à grande échelle dans des environnements réalistes en utilisant une infrastructure cloud gérée. Il permet la…Oqoqo permet aux utilisateurs de réaliser des expériences d'évaluation à grande échelle dans des environnements réalistes en utilisant une infrastructure cloud gérée. Il permet la…

Outils DevOps et cloud IA
N°147 pour Ajustement fin des modèles AI

Caprock

Applications IA

Caprock est une application de bureau gratuite et open-source pour macOS, Windows et Linux qui sert de registre pour tous vos agents de codage, y compris Claude Code, Codex,…

Assistants de codage IA

N°224 pour Surveillance des modèles AI

Voir l'outil

Applications IA

Application de bureau gratuite et open-source pour macOS, Windows et Linux qui sert de registre pour tous vos agents de codage, y compris Claude Code, Codex,…Caprock est une application de bureau gratuite et open-source pour macOS, Windows et Linux qui sert de registre pour tous vos agents de codage, y compris Claude Code, Codex,…

Assistants de codage IA
N°224 pour Surveillance des modèles AI

Tokenwise

Applications IA

Tokenwise est un outil d'optimisation des coûts et des performances pour les API LLM. Il aide les développeurs et les petites équipes à économiser plus de 30 % sur les coûts des…

Outils DevOps et cloud IA

N°161 en Outils DevOps et cloud IA

Voir l'outil

Applications IA

Outil d'optimisation des coûts et des performances pour les API LLM. Il aide les développeurs et les petites équipes à économiser plus de 30 % sur les coûts des…Tokenwise est un outil d'optimisation des coûts et des performances pour les API LLM. Il aide les développeurs et les petites équipes à économiser plus de 30 % sur les coûts des…

Outils DevOps et cloud IA
N°161 en Outils DevOps et cloud IA

Tally by OpenOrigins

Applications IA

Tally by OpenOrigins fournit une plateforme unifiée pour gérer et surveiller les agents IA de votre équipe. Elle offre une transparence sur les activités des agents, suit les…

Outils DevOps et cloud IA
Voir l'outil

Applications IA

Fournit une plateforme unifiée pour gérer et surveiller les agents IA de votre équipe. Elle offre une transparence sur les activités des agents, suit les…Tally by OpenOrigins fournit une plateforme unifiée pour gérer et surveiller les agents IA de votre équipe. Elle offre une transparence sur les activités des agents, suit les…

Outils DevOps et cloud IA
Voir le Top 250 Applications IA

TokenEconomizer

Dépôts GitHub d'IA

TokenEconomizer est un projet GitHub de Microsoft qui fournit un contrôle des coûts en boîte noire basé sur l'expérience pour les agents de codage. Il aide à gérer et à optimiser…

Outils DevOps et cloud IA
Voir l'outil

Dépôts GitHub d'IA

Projet GitHub de Microsoft qui fournit un contrôle des coûts en boîte noire basé sur l'expérience pour les agents de codage. Il aide à gérer et à optimiser…TokenEconomizer est un projet GitHub de Microsoft qui fournit un contrôle des coûts en boîte noire basé sur l'expérience pour les agents de codage. Il aide à gérer et à optimiser…

Outils DevOps et cloud IA
Voir le Top 250 Dépôts GitHub d'IA

Vantage AI Workflows

Applications IA

Vantage AI Workflows optimise l'infrastructure AI en surveillant et en intégrant les flux de travail existants. Il fournit des outils pour l'analyse des coûts pilotée par l'IA,…

Outils DevOps et cloud IAFinance et banque
Voir l'outil

Applications IA

Optimise l'infrastructure AI en surveillant et en intégrant les flux de travail existants. Il fournit des outils pour l'analyse des coûts pilotée par l'IA,…Vantage AI Workflows optimise l'infrastructure AI en surveillant et en intégrant les flux de travail existants. Il fournit des outils pour l'analyse des coûts pilotée par l'IA,…

Outils DevOps et cloud IAFinance et banque
Voir le Top 250 Applications IA

IQ

Applications IA

IQ fournit un tableau de bord unifié pour surveiller et gérer l'utilisation et les dépenses en IA de votre équipe auprès de plusieurs fournisseurs. Il offre des contrôles robustes…

Outils DevOps et cloud IA

N°97 pour Suivi des dépenses & budgets

Voir l'outil

Applications IA

Fournit un tableau de bord unifié pour surveiller et gérer l'utilisation et les dépenses en IA de votre équipe auprès de plusieurs fournisseurs. Il offre des contrôles robustes…IQ fournit un tableau de bord unifié pour surveiller et gérer l'utilisation et les dépenses en IA de votre équipe auprès de plusieurs fournisseurs. Il offre des contrôles robustes…

Outils DevOps et cloud IA
N°97 pour Suivi des dépenses & budgets

Outil gratuit et open-source pour construire, exécuter, déboguer et déployer des applications distribuées dans n'importe quel langage, pile ou cloud. Il propose une…Aspire est un outil gratuit et open-source pour construire, exécuter, déboguer et déployer des applications distribuées dans n'importe quel langage, pile ou cloud. Il propose une…

Outils DevOps et cloud IA
Voir le Top 250 Applications IA
1 sur 8