Zum Hauptinhalt springen
ToolPotion
KI-Berater
Einreichen

Harness Resource Bench

Harness Resource Bench bietet detaillierte Messungen der Ressourcennutzung für verschiedene Codierungsagenten, einschließlich Startzeit, Speicher, CPU-Zeit, Sitzungsdaten und Installationsgröße. Es bewertet Agenten wie Claude Code, Codex, fx, omp, opencode, pi und smelt unter identischen, geskripteten Arbeitslasten innerhalb einer konsistenten Containerumgebung, um den Benutzern zu helfen, die Kosten ihrer Maschinen zu verstehen. Die Plattform bietet vergleichende Daten, um die effizientesten Werkzeuge zu identifizieren.

URL besuchen
Teilen
Screenshot von Harness Resource Bench
Screenshot von Harness Resource Bench

Harness Resource Bench ist eine spezialisierte Plattform, die entwickelt wurde, um den Ressourcenverbrauch verschiedener Codierungsagenten sorgfältig zu messen und zu vergleichen. Sie bietet einen umfassenden Überblick darüber, wie stark jeder Agent die Leistung und Ressourcen einer Maschine beeinflusst, wobei der Fokus auf kritischen Metriken wie Startzeit, Speichernutzung, CPU-Zeit, Sitzungsdaten und Installationsgröße liegt.

Weiterlesen

Die Methodik umfasst das Ausführen jedes Codierungsagenten durch dieselbe geskriptete Arbeitslast innerhalb einer identischen Containerumgebung. Dies gewährleistet Fairness und Konsistenz in den Messungen und ermöglicht direkte Vergleiche zwischen Agenten wie fx, smelt, pi, Claude Code, Codex, omp und opencode. Die Plattform zielt darauf ab, die effizientesten Agenten zu identifizieren, wobei niedrigere Zahlen eine bessere Leistung anzeigen.

Wichtige Messbereiche umfassen die Startleistung, die detailliert beschreibt, wie schnell ein Agent gestartet wird und welche anfänglichen Speicher- und Festplattenerfordernisse bestehen. Sie untersucht auch den Speicher zu Beginn (nach der ersten Anfrage mit einem kalten Dateicache) und die Installationsgröße, wobei der Speicherplatz nach Dateityp aufgeschlüsselt wird. Beispielsweise wird festgestellt, dass die Installationsgröße von pi Node.js umfasst, das für seinen Betrieb unerlässlich ist.

Für Codierungsaufgaben misst die Bench die CPU-Zeit während einer Aufgabe, die 24 Werkzeugaufrufe umfasst, wobei das Modell 120 Tokens pro Sekunde streamt. Sie unterscheidet zwischen headless CPU-Nutzung (ohne die TUI), zusätzlicher CPU-Zeit mit der TUI und der minimalen Zeit, die das Terminal (tmux) benötigt. Die Analyse langer Sitzungen umfasst Speicher und CPU-Zeit pro Runde über 64 Runden, wobei die Agenten ihre Historie in der Nähe der Kontextgrenzen komprimieren. Sie verfolgt auch Sitzungsdaten auf der Festplatte, einschließlich Transkripte, Historie, Datenbanken und Protokolle.

Darüber hinaus bewertet Harness Resource Bench die Ressourcennutzung während neuer Sitzungen (16 Sitzungen in einem Prozess, um den Speicher zu messen, der von abgeschlossenen Sitzungen zurückgelassen wurde) und im Leerlauf, wobei CPU-Zeit und Speicher aufgezeichnet werden, während eine offene Sitzung nach einer Aufgabe unbeaufsichtigt bleibt. Sie unterteilt sogar den Leerlaufspeicher in Code, gemappte Dateien, Heap und Daten, um ein detailliertes Verständnis der Ressourcenallokation zu bieten. Die Daten werden als Mediane mehrerer Durchläufe präsentiert, wobei Whiskers und Bänder den Bereich anzeigen und einen robusten und zuverlässigen Vergleich für Entwickler und Benutzer bieten.

  • KategorieKI-DevOps- & -Cloud-Tools
  • BereitstellungCloud
  • PlattformenWeb

  • Umfassende Ressourcenmessung für Codierungsagenten

  • Bewertung von Startzeit, Speicher, CPU-Zeit, Sitzungsdaten und Installationsgröße

  • Vergleich von Agenten wie fx, smelt, pi, Claude Code, Codex, omp, opencode

  • Standardisierte geskriptete Arbeitslasten in konsistenten Containerumgebungen

  • Detaillierte Aufschlüsselung der Startleistung (Zeit, Speicher, Festplatte)

  • Analyse der CPU-Zeit während Codierungsaufgaben (headless, TUI, Terminal)

  • Messung von Speicher und CPU-Zeit in langen Sitzungen (64 Runden)

  • Verfolgung von Sitzungsdaten, die auf der Festplatte gespeichert sind (Transkripte, Historie, Protokolle)

  • Bewertung des Speicherbedarfs für neue Sitzungen

  • Überwachung von CPU-Zeit und Speichernutzung während Leerlaufzuständen

  • Detaillierte Aufschlüsselung des Leerlaufspeichers in Code, Heap und Daten

  • Medianwerte und Bereiche für alle Messungen

  • Vergleich der Funktionen von Agenten und deren Auswirkungen auf die Ressourcenkosten

  • Daten gesammelt auf einem AMD Ryzen 9 7900X-Maschine mit festen Ressourcen

  1. Zugriff auf Benchmarks: Navigieren Sie zur Website von Harness Resource Bench, um die neuesten Daten zur Ressourcennutzung anzuzeigen.

  2. Überblick über Agenten: Untersuchen Sie die mediane Ressourcennutzung verschiedener Codierungsagenten über verschiedene Metriken.

  3. Daten sortieren: Klicken Sie auf eine beliebige Spaltenüberschrift, um die Daten nach spezifischen Metriken wie Startzeit oder CPU-Nutzung zu sortieren.

  4. Agenten vergleichen: Analysieren Sie die Leistung einzelner Agenten und notieren Sie, welche Agenten in bestimmten Kategorien (z. B. fx für Startzeit) führend sind.

  5. Metriken verstehen: Erkunden Sie detaillierte Erklärungen für jede Messkategorie, wie „Start“, „Eine Codierungsaufgabe“, „Eine lange Sitzung“ und „Leerlauf“.

  6. Abschnitte „Warum“ konsultieren: Lesen Sie die Abschnitte „Warum“ für Einblicke in die zugrunde liegenden Gründe für das beobachtete Ressourcenverhalten jedes Agenten.

  • Auswahl des Codierungsagenten
  • Leistungsoptimierung
  • Ressourcenplanung
  • Vergleichsanalyse
  • Bewertung von Entwicklerwerkzeugen

Harness Resource Bench Bewertungen

Wird geladen...

Beliebte KI-Tools wie Harness Resource Bench

Oqoqo

KI-Apps

Oqoqo ermöglicht es Benutzern, Bewertungsexperimente in großem Maßstab in realistischen Umgebungen unter Verwendung einer verwalteten Cloud-Infrastruktur durchzuführen. Es erlaubt…

KI-DevOps- & -Cloud-Tools

Platz 147 für Feinabstimmung von KI-Modellen

Tool ansehen

KI-Apps

Ermöglicht es Benutzern, Bewertungsexperimente in großem Maßstab in realistischen Umgebungen unter Verwendung einer verwalteten Cloud-Infrastruktur durchzuführen. Es erlaubt…Oqoqo ermöglicht es Benutzern, Bewertungsexperimente in großem Maßstab in realistischen Umgebungen unter Verwendung einer verwalteten Cloud-Infrastruktur durchzuführen. Es erlaubt…

KI-DevOps- & -Cloud-Tools
Platz 147 für Feinabstimmung von KI-Modellen

Caprock

KI-Apps

Caprock ist eine kostenlose, Open-Source-Desktopanwendung für macOS, Windows und Linux, die als Hauptbuch für all Ihre Codierungsagenten fungiert, einschließlich Claude Code,…

KI-Programmierassistenten

Platz 224 für Überwachung von KI-Modellen

Tool ansehen

KI-Apps

Kostenlose, Open-Source-Desktopanwendung für macOS, Windows und Linux, die als Hauptbuch für all Ihre Codierungsagenten fungiert, einschließlich Claude Code,…Caprock ist eine kostenlose, Open-Source-Desktopanwendung für macOS, Windows und Linux, die als Hauptbuch für all Ihre Codierungsagenten fungiert, einschließlich Claude Code,…

KI-Programmierassistenten
Platz 224 für Überwachung von KI-Modellen

Tokenwise

KI-Apps

Tokenwise ist ein Tool zur Kosten- und Leistungsoptimierung für LLM-APIs. Es hilft Entwicklern und kleinen Teams, über 30 % der API-Kosten zu sparen, indem es die Nutzung…

KI-DevOps- & -Cloud-Tools

Platz 161 in KI-DevOps- & -Cloud-Tools

Tool ansehen

KI-Apps

Tool zur Kosten- und Leistungsoptimierung für LLM-APIs. Es hilft Entwicklern und kleinen Teams, über 30 % der API-Kosten zu sparen, indem es die Nutzung…Tokenwise ist ein Tool zur Kosten- und Leistungsoptimierung für LLM-APIs. Es hilft Entwicklern und kleinen Teams, über 30 % der API-Kosten zu sparen, indem es die Nutzung…

KI-DevOps- & -Cloud-Tools
Platz 161 in KI-DevOps- & -Cloud-Tools

Tally by OpenOrigins bietet eine einheitliche Plattform zur Verwaltung und Überwachung der KI-Agenten Ihres Teams. Es sorgt für Transparenz in den Aktivitäten der Agenten,…

KI-DevOps- & -Cloud-Tools
Tool ansehen

Bietet eine einheitliche Plattform zur Verwaltung und Überwachung der KI-Agenten Ihres Teams. Es sorgt für Transparenz in den Aktivitäten der Agenten,…Tally by OpenOrigins bietet eine einheitliche Plattform zur Verwaltung und Überwachung der KI-Agenten Ihres Teams. Es sorgt für Transparenz in den Aktivitäten der Agenten,…

KI-DevOps- & -Cloud-Tools
Top 250 KI-Apps ansehen

TokenEconomizer

KI-GitHub-Repos

TokenEconomizer ist ein GitHub-Projekt von Microsoft, das erfahrungsbasiertes Black-Box-Kostenmanagement für Codierungsagenten bietet. Es hilft, die Token-Nutzung von…

KI-DevOps- & -Cloud-Tools
Tool ansehen

KI-GitHub-Repos

GitHub-Projekt von Microsoft, das erfahrungsbasiertes Black-Box-Kostenmanagement für Codierungsagenten bietet. Es hilft, die Token-Nutzung von…TokenEconomizer ist ein GitHub-Projekt von Microsoft, das erfahrungsbasiertes Black-Box-Kostenmanagement für Codierungsagenten bietet. Es hilft, die Token-Nutzung von…

KI-DevOps- & -Cloud-Tools
Top 250 KI-GitHub-Repos ansehen

Vantage AI Workflows optimiert die KI-Infrastruktur, indem es bestehende Workflows überwacht und integriert. Es bietet Werkzeuge für die KI-gesteuerte Kostenanalyse, die ein…

KI-DevOps- & -Cloud-ToolsFinanzen & Banking
Tool ansehen

Optimiert die KI-Infrastruktur, indem es bestehende Workflows überwacht und integriert. Es bietet Werkzeuge für die KI-gesteuerte Kostenanalyse, die ein…Vantage AI Workflows optimiert die KI-Infrastruktur, indem es bestehende Workflows überwacht und integriert. Es bietet Werkzeuge für die KI-gesteuerte Kostenanalyse, die ein…

KI-DevOps- & -Cloud-ToolsFinanzen & Banking
Top 250 KI-Apps ansehen

IQ

KI-Apps

IQ bietet ein einheitliches Dashboard zur Überwachung und Verwaltung der KI-Nutzung und -Ausgaben Ihres Teams über mehrere Anbieter hinweg. Es bietet robuste Kontrollen für…

KI-DevOps- & -Cloud-Tools

Platz 97 für Verfolgung von Ausgaben & Budgets

Tool ansehen

KI-Apps

Bietet ein einheitliches Dashboard zur Überwachung und Verwaltung der KI-Nutzung und -Ausgaben Ihres Teams über mehrere Anbieter hinweg. Es bietet robuste Kontrollen für…IQ bietet ein einheitliches Dashboard zur Überwachung und Verwaltung der KI-Nutzung und -Ausgaben Ihres Teams über mehrere Anbieter hinweg. Es bietet robuste Kontrollen für…

KI-DevOps- & -Cloud-Tools
Platz 97 für Verfolgung von Ausgaben & Budgets

Aspire ist ein kostenloses, Open-Source-Tool zum Erstellen, Ausführen, Debuggen und Bereitstellen verteilter Anwendungen in jeder Sprache, jedem Stack oder in der Cloud. Es bietet…

KI-DevOps- & -Cloud-Tools
Tool ansehen

Kostenloses, Open-Source-Tool zum Erstellen, Ausführen, Debuggen und Bereitstellen verteilter Anwendungen in jeder Sprache, jedem Stack oder in der Cloud. Es bietet…Aspire ist ein kostenloses, Open-Source-Tool zum Erstellen, Ausführen, Debuggen und Bereitstellen verteilter Anwendungen in jeder Sprache, jedem Stack oder in der Cloud. Es bietet…

KI-DevOps- & -Cloud-Tools
Top 250 KI-Apps ansehen
1 von 8