Beschreibung
Harness Resource Bench ist eine spezialisierte Plattform, die entwickelt wurde, um den Ressourcenverbrauch verschiedener Codierungsagenten sorgfältig zu messen und zu vergleichen. Sie bietet einen umfassenden Überblick darüber, wie stark jeder Agent die Leistung und Ressourcen einer Maschine beeinflusst, wobei der Fokus auf kritischen Metriken wie Startzeit, Speichernutzung, CPU-Zeit, Sitzungsdaten und Installationsgröße liegt.
Weiterlesen
Die Methodik umfasst das Ausführen jedes Codierungsagenten durch dieselbe geskriptete Arbeitslast innerhalb einer identischen Containerumgebung. Dies gewährleistet Fairness und Konsistenz in den Messungen und ermöglicht direkte Vergleiche zwischen Agenten wie fx, smelt, pi, Claude Code, Codex, omp und opencode. Die Plattform zielt darauf ab, die effizientesten Agenten zu identifizieren, wobei niedrigere Zahlen eine bessere Leistung anzeigen.
Wichtige Messbereiche umfassen die Startleistung, die detailliert beschreibt, wie schnell ein Agent gestartet wird und welche anfänglichen Speicher- und Festplattenerfordernisse bestehen. Sie untersucht auch den Speicher zu Beginn (nach der ersten Anfrage mit einem kalten Dateicache) und die Installationsgröße, wobei der Speicherplatz nach Dateityp aufgeschlüsselt wird. Beispielsweise wird festgestellt, dass die Installationsgröße von pi Node.js umfasst, das für seinen Betrieb unerlässlich ist.
Für Codierungsaufgaben misst die Bench die CPU-Zeit während einer Aufgabe, die 24 Werkzeugaufrufe umfasst, wobei das Modell 120 Tokens pro Sekunde streamt. Sie unterscheidet zwischen headless CPU-Nutzung (ohne die TUI), zusätzlicher CPU-Zeit mit der TUI und der minimalen Zeit, die das Terminal (tmux) benötigt. Die Analyse langer Sitzungen umfasst Speicher und CPU-Zeit pro Runde über 64 Runden, wobei die Agenten ihre Historie in der Nähe der Kontextgrenzen komprimieren. Sie verfolgt auch Sitzungsdaten auf der Festplatte, einschließlich Transkripte, Historie, Datenbanken und Protokolle.
Darüber hinaus bewertet Harness Resource Bench die Ressourcennutzung während neuer Sitzungen (16 Sitzungen in einem Prozess, um den Speicher zu messen, der von abgeschlossenen Sitzungen zurückgelassen wurde) und im Leerlauf, wobei CPU-Zeit und Speicher aufgezeichnet werden, während eine offene Sitzung nach einer Aufgabe unbeaufsichtigt bleibt. Sie unterteilt sogar den Leerlaufspeicher in Code, gemappte Dateien, Heap und Daten, um ein detailliertes Verständnis der Ressourcenallokation zu bieten. Die Daten werden als Mediane mehrerer Durchläufe präsentiert, wobei Whiskers und Bänder den Bereich anzeigen und einen robusten und zuverlässigen Vergleich für Entwickler und Benutzer bieten.
- KategorieKI-DevOps- & -Cloud-Tools
- BereitstellungCloud
- PlattformenWeb
Harness Resource Bench's Kernfunktionen
Umfassende Ressourcenmessung für Codierungsagenten
Bewertung von Startzeit, Speicher, CPU-Zeit, Sitzungsdaten und Installationsgröße
Vergleich von Agenten wie fx, smelt, pi, Claude Code, Codex, omp, opencode
Standardisierte geskriptete Arbeitslasten in konsistenten Containerumgebungen
Detaillierte Aufschlüsselung der Startleistung (Zeit, Speicher, Festplatte)
Analyse der CPU-Zeit während Codierungsaufgaben (headless, TUI, Terminal)
Messung von Speicher und CPU-Zeit in langen Sitzungen (64 Runden)
Verfolgung von Sitzungsdaten, die auf der Festplatte gespeichert sind (Transkripte, Historie, Protokolle)
Bewertung des Speicherbedarfs für neue Sitzungen
Überwachung von CPU-Zeit und Speichernutzung während Leerlaufzuständen
Detaillierte Aufschlüsselung des Leerlaufspeichers in Code, Heap und Daten
Medianwerte und Bereiche für alle Messungen
Vergleich der Funktionen von Agenten und deren Auswirkungen auf die Ressourcenkosten
Daten gesammelt auf einem AMD Ryzen 9 7900X-Maschine mit festen Ressourcen
Wie verwendet man Harness Resource Bench?
Zugriff auf Benchmarks: Navigieren Sie zur Website von Harness Resource Bench, um die neuesten Daten zur Ressourcennutzung anzuzeigen.
Überblick über Agenten: Untersuchen Sie die mediane Ressourcennutzung verschiedener Codierungsagenten über verschiedene Metriken.
Daten sortieren: Klicken Sie auf eine beliebige Spaltenüberschrift, um die Daten nach spezifischen Metriken wie Startzeit oder CPU-Nutzung zu sortieren.
Agenten vergleichen: Analysieren Sie die Leistung einzelner Agenten und notieren Sie, welche Agenten in bestimmten Kategorien (z. B. fx für Startzeit) führend sind.
Metriken verstehen: Erkunden Sie detaillierte Erklärungen für jede Messkategorie, wie „Start“, „Eine Codierungsaufgabe“, „Eine lange Sitzung“ und „Leerlauf“.
Abschnitte „Warum“ konsultieren: Lesen Sie die Abschnitte „Warum“ für Einblicke in die zugrunde liegenden Gründe für das beobachtete Ressourcenverhalten jedes Agenten.
Harness Resource Bench's Anwendungsfälle
- Auswahl des Codierungsagenten
- Leistungsoptimierung
- Ressourcenplanung
- Vergleichsanalyse
- Bewertung von Entwicklerwerkzeugen






