メインコンテンツへスキップ
ToolPotion
AI アドバイザー
送信(無料)

Harness Resource Bench

Harness Resource Benchは、起動時間、メモリ、CPU時間、セッションデータ、インストールサイズを含むさまざまなコーディングエージェントのリソース使用量を詳細に測定します。Claude Code、Codex、fx、omp、opencode、pi、smeltなどのエージェントを、同一のスクリプトワークロードで一貫したコンテナ環境内で評価し、ユーザーがマシンコストを理解するのを助けます。このプラットフォームは、最も効率的なツールを特定するための比較データを提供します。

URLを訪問
共有
Harness Resource Bench のスクリーンショット
Harness Resource Bench のスクリーンショット

Harness Resource Benchは、さまざまなコーディングエージェントのリソース消費を詳細に測定し比較するために設計された専門的なプラットフォームです。各エージェントがマシンのパフォーマンスとリソースにどのように影響を与えるかを包括的に把握し、起動時間、メモリ使用量、CPU時間、セッションデータ、インストールサイズなどの重要な指標に焦点を当てています。

続きを読む

この方法論では、各コーディングエージェントを同一のコンテナ環境内で同じスクリプトワークロードに従って実行します。これにより、測定の公平性と一貫性が確保され、fx、smelt、pi、Claude Code、codex、omp、opencodeなどのエージェント間で直接比較が可能になります。このプラットフォームは、数値が低いほどパフォーマンスが優れていることを示す、最も効率的なエージェントを特定することを目指しています。

測定の主要な領域には、エージェントの起動パフォーマンスが含まれ、エージェントが起動する速度や初期のメモリおよびディスク要件が詳細に示されます。また、最初のリクエスト後のメモリ(コールドファイルキャッシュ)やインストールサイズも調査し、ファイルタイプごとのディスクスペースを分解します。たとえば、piのインストールサイズには、その動作に必要なNode.jsが含まれていることが記載されています。

コーディングタスクにおいて、ベンチは24のツールコールを含むタスク中のCPU時間を測定し、モデルは1秒あたり120トークンをストリーミングします。ヘッドレスCPU使用量(TUIなし)、TUIを使用した追加のCPU時間、端末(tmux)による最小限の時間を区別します。長いセッション分析では、64ターンにわたる各ターンのメモリとCPU時間をカバーし、エージェントはコンテキスト制限付近で履歴を圧縮します。また、トランスクリプト、履歴、データベース、ログを含むディスク上のセッションデータも追跡します。

さらに、Harness Resource Benchは、新しいセッション中のリソース使用(完了したセッションによって残されたメモリを測定するために1つのプロセス内で16セッション)やアイドル状態を評価し、タスク後に開いたセッションが放置されている間のCPU時間とメモリを記録します。アイドルメモリをコード、マッピングされたファイル、ヒープ、データに分解し、リソース配分の詳細な理解を提供します。データは複数回の実行の中央値として提示され、ひげとバンドが範囲を示し、開発者やユーザーにとって堅牢で信頼性の高い比較を提供します。

  • カテゴリーAI DevOps・クラウドツール
  • デプロイクラウド
  • プラットフォームWeb

  • コーディングエージェントのための包括的なリソース測定

  • 起動時間、メモリ、CPU時間、セッションデータ、インストールサイズを評価

  • fx、smelt、pi、Claude Code、codex、omp、opencodeなどのエージェントを比較

  • 一貫したコンテナ環境での標準化されたスクリプトワークロード

  • 起動パフォーマンスの詳細な内訳(時間、メモリ、ディスク)

  • コーディングタスク中のCPU時間の分析(ヘッドレス、TUI、端末)

  • 長いセッション中のメモリとCPU時間の測定(64ターン)

  • ディスクに保存されたセッションデータの追跡(トランスクリプト、履歴、ログ)

  • 新しいセッションのメモリフットプリントの評価

  • アイドル状態中のCPU時間とメモリ使用量の監視

  • アイドルメモリのコード、ヒープ、データへの詳細な内訳

  • すべての測定の中央値と範囲

  • エージェントの機能とそのリソースコストの影響の比較

  • 固定リソースを持つAMD Ryzen 9 7900Xマシンで収集されたデータ

  1. ベンチマークにアクセス: Harness Resource Benchのウェブサイトに移動して最新のリソース使用データを表示します。

  2. エージェントの概要を確認: 様々なコーディングエージェントの中央値リソース使用を異なる指標で調べます。

  3. データをソート: 特定の指標(起動時間やCPU使用量など)でデータをソートするために任意の列ヘッダーをクリックします。

  4. エージェントを比較: 各エージェントのパフォーマンスを分析し、特定のカテゴリ(例: 起動時間でのfx)でリードしているエージェントを特定します。

  5. 指標を理解: 'Start'、'コーディングタスク'、'長いセッション'、'アイドル'などの各測定カテゴリの詳細な説明を探ります。

  6. 理由セクションを参照: 各エージェントの観察されたリソース動作の背後にある理由についての洞察を得るために「なぜ」セクションを読みます。

  • コーディングエージェントの選択
  • パフォーマンス最適化
  • リソース計画
  • 比較分析
  • 開発者ツールの評価

Harness Resource Bench のレビュー

読み込み中...

Harness Resource Bench に似た人気のAIツール

Oqoqo

AI アプリ

Oqoqoは、管理されたクラウドインフラストラクチャを使用して、現実的な環境で評価実験を大規模に実行できるようにします。カスタムタスクセットを作成してプライベートベンチマークを構築し、エージェントのパフォーマンスを評価し、最適なエージェントモデルの組み合わせを特定することができます。

AI DevOps・クラウドツール

AIモデルの監視で第241位

ツールを見る

AI アプリ

管理されたクラウドインフラストラクチャを使用して、現実的な環境で評価実験を大規模に実行できるようにします。カスタムタスクセットを作成してプライベートベンチマークを構築し、エージェントのパフォーマンスを評価し、最適なエージェントモデルの組み合わせを特定することができます。Oqoqoは、管理されたクラウドインフラストラクチャを使用して、現実的な環境で評価実験を大規模に実行できるようにします。カスタムタスクセットを作成してプライベートベンチマークを構築し、エージェントのパフォーマンスを評価し、最適なエージェントモデルの組み合わせを特定することができます。

AI DevOps・クラウドツール
AIモデルの監視で第241位

Caprock

AI アプリ

Caprockは、Claude Code、Codex、OpenCode、Gemini CLIを含むすべてのコーディングエージェントの台帳として機能する、macOS、Windows、Linux用の無料のオープンソースデスクトップアプリケーションです。エージェントの活動を追跡し、スタックしたセッションを特定し、プランの制限を監視し、プルリクエストごとのコストを計…

AI コーディングアシスタント

AIモデルの監視で第222位

ツールを見る

AI アプリ

Claude Code、Codex、OpenCode、Gemini CLIを含むすべてのコーディングエージェントの台帳として機能する、macOS、Windows、Linux用の無料のオープンソースデスクトップアプリケーションです。エージェントの活動を追跡し、スタックしたセッションを特定し、プランの制限を監視し、プルリクエストごとのコストを計…Caprockは、Claude Code、Codex、OpenCode、Gemini CLIを含むすべてのコーディングエージェントの台帳として機能する、macOS、Windows、Linux用の無料のオープンソースデスクトップアプリケーションです。エージェントの活動を追跡し、スタックしたセッションを特定し、プランの制限を監視し、プルリクエストごとのコストを計…

AI コーディングアシスタント
AIモデルの監視で第222位

Tokenwise

AI アプリ

Tokenwiseは、LLM APIのコストとパフォーマンスを最適化するツールです。開発者や小規模チームが使用状況を監視し、無駄を検出し、最小限の設定で週次の最適化インサイトを提供することで、APIコストを30%以上削減するのに役立ちます。

AI DevOps・クラウドツール

AI DevOps・クラウドツールで第156位

ツールを見る

AI アプリ

LLM APIのコストとパフォーマンスを最適化するツールです。開発者や小規模チームが使用状況を監視し、無駄を検出し、最小限の設定で週次の最適化インサイトを提供することで、APIコストを30%以上削減するのに役立ちます。Tokenwiseは、LLM APIのコストとパフォーマンスを最適化するツールです。開発者や小規模チームが使用状況を監視し、無駄を検出し、最小限の設定で週次の最適化インサイトを提供することで、APIコストを30%以上削減するのに役立ちます。

AI DevOps・クラウドツール
AI DevOps・クラウドツールで第156位

Tally by OpenOriginsは、チームのAIエージェントを管理および監視するための統合プラットフォームを提供します。エージェントの活動に対する透明性を提供し、支出を追跡し、AIの宇宙を制御することを保証します。多様なAIシステムを接続し、チームの貢献を理解し、中央集権的なダッシュボードからエージェントの効率を最適化して、より良いAIソリューション…

AI DevOps・クラウドツール
ツールを見る

チームのAIエージェントを管理および監視するための統合プラットフォームを提供します。エージェントの活動に対する透明性を提供し、支出を追跡し、AIの宇宙を制御することを保証します。多様なAIシステムを接続し、チームの貢献を理解し、中央集権的なダッシュボードからエージェントの効率を最適化して、より良いAIソリューション…Tally by OpenOriginsは、チームのAIエージェントを管理および監視するための統合プラットフォームを提供します。エージェントの活動に対する透明性を提供し、支出を追跡し、AIの宇宙を制御することを保証します。多様なAIシステムを接続し、チームの貢献を理解し、中央集権的なダッシュボードからエージェントの効率を最適化して、より良いAIソリューション…

AI DevOps・クラウドツール
AI アプリ トップ250を見る

TokenEconomizer

AI GitHub リポジトリ

TokenEconomizerは、MicrosoftによるGitHubプロジェクトで、コーディングエージェントのための経験駆動型ブラックボックスコスト管理を提供します。AI駆動のコーディングツールのトークン使用を管理および最適化し、効率的な運用とリソース配分を確保します。このリポジトリは、開発者がエージェントベースのアプリケーションにコスト意識のある戦略を実…

AI DevOps・クラウドツール
ツールを見る

AI GitHub リポジトリ

MicrosoftによるGitHubプロジェクトで、コーディングエージェントのための経験駆動型ブラックボックスコスト管理を提供します。AI駆動のコーディングツールのトークン使用を管理および最適化し、効率的な運用とリソース配分を確保します。このリポジトリは、開発者がエージェントベースのアプリケーションにコスト意識のある戦略を実…TokenEconomizerは、MicrosoftによるGitHubプロジェクトで、コーディングエージェントのための経験駆動型ブラックボックスコスト管理を提供します。AI駆動のコーディングツールのトークン使用を管理および最適化し、効率的な運用とリソース配分を確保します。このリポジトリは、開発者がエージェントベースのアプリケーションにコスト意識のある戦略を実…

AI DevOps・クラウドツール
AI GitHub リポジトリ トップ250を見る

Vantage AI ワークフローは、既存のワークフローと統合しながらAIインフラストラクチャを最適化します。AI駆動のコスト分析ツールを提供し、さまざまなAIモデルやプラットフォームにわたる効率的なリソース管理とコスト最適化を実現します。

AI DevOps・クラウドツール金融・銀行
ツールを見る

既存のワークフローと統合しながらAIインフラストラクチャを最適化します。AI駆動のコスト分析ツールを提供し、さまざまなAIモデルやプラットフォームにわたる効率的なリソース管理とコスト最適化を実現します。Vantage AI ワークフローは、既存のワークフローと統合しながらAIインフラストラクチャを最適化します。AI駆動のコスト分析ツールを提供し、さまざまなAIモデルやプラットフォームにわたる効率的なリソース管理とコスト最適化を実現します。

AI DevOps・クラウドツール金融・銀行
AI アプリ トップ250を見る

IQ

AI アプリ

IQは、複数のプロバイダーにわたるチームのAI使用状況と支出を監視・管理するための統一ダッシュボードを提供します。予算、APIキー、アクセスに対する強力なコントロールを提供し、コストを最適化するための組み込みルーティングを備えています。このプラットフォームは、さまざまなAIモデルをサポートし、ガバナンスと効率を向上させるための監査ログ、アラート、メンバー役割…

AI DevOps・クラウドツール

経費と予算の追跡で第93位

ツールを見る

AI アプリ

複数のプロバイダーにわたるチームのAI使用状況と支出を監視・管理するための統一ダッシュボードを提供します。予算、APIキー、アクセスに対する強力なコントロールを提供し、コストを最適化するための組み込みルーティングを備えています。このプラットフォームは、さまざまなAIモデルをサポートし、ガバナンスと効率を向上させるための監査ログ、アラート、メンバー役割…IQは、複数のプロバイダーにわたるチームのAI使用状況と支出を監視・管理するための統一ダッシュボードを提供します。予算、APIキー、アクセスに対する強力なコントロールを提供し、コストを最適化するための組み込みルーティングを備えています。このプラットフォームは、さまざまなAIモデルをサポートし、ガバナンスと効率を向上させるための監査ログ、アラート、メンバー役割…

AI DevOps・クラウドツール
経費と予算の追跡で第93位

Aspireは、任意の言語、スタック、クラウドで分散アプリケーションを構築、実行、デバッグ、デプロイするための無料のオープンソースツールです。エージェント対応の機能を備えたコードファーストアプローチを提供します。

AI DevOps・クラウドツール
ツールを見る

任意の言語、スタック、クラウドで分散アプリケーションを構築、実行、デバッグ、デプロイするための無料のオープンソースツールです。エージェント対応の機能を備えたコードファーストアプローチを提供します。Aspireは、任意の言語、スタック、クラウドで分散アプリケーションを構築、実行、デバッグ、デプロイするための無料のオープンソースツールです。エージェント対応の機能を備えたコードファーストアプローチを提供します。

AI DevOps・クラウドツール
AI アプリ トップ250を見る
1 / 8