説明
Harness Resource Benchは、さまざまなコーディングエージェントのリソース消費を詳細に測定し比較するために設計された専門的なプラットフォームです。各エージェントがマシンのパフォーマンスとリソースにどのように影響を与えるかを包括的に把握し、起動時間、メモリ使用量、CPU時間、セッションデータ、インストールサイズなどの重要な指標に焦点を当てています。
続きを読む
この方法論では、各コーディングエージェントを同一のコンテナ環境内で同じスクリプトワークロードに従って実行します。これにより、測定の公平性と一貫性が確保され、fx、smelt、pi、Claude Code、codex、omp、opencodeなどのエージェント間で直接比較が可能になります。このプラットフォームは、数値が低いほどパフォーマンスが優れていることを示す、最も効率的なエージェントを特定することを目指しています。
測定の主要な領域には、エージェントの起動パフォーマンスが含まれ、エージェントが起動する速度や初期のメモリおよびディスク要件が詳細に示されます。また、最初のリクエスト後のメモリ(コールドファイルキャッシュ)やインストールサイズも調査し、ファイルタイプごとのディスクスペースを分解します。たとえば、piのインストールサイズには、その動作に必要なNode.jsが含まれていることが記載されています。
コーディングタスクにおいて、ベンチは24のツールコールを含むタスク中のCPU時間を測定し、モデルは1秒あたり120トークンをストリーミングします。ヘッドレスCPU使用量(TUIなし)、TUIを使用した追加のCPU時間、端末(tmux)による最小限の時間を区別します。長いセッション分析では、64ターンにわたる各ターンのメモリとCPU時間をカバーし、エージェントはコンテキスト制限付近で履歴を圧縮します。また、トランスクリプト、履歴、データベース、ログを含むディスク上のセッションデータも追跡します。
さらに、Harness Resource Benchは、新しいセッション中のリソース使用(完了したセッションによって残されたメモリを測定するために1つのプロセス内で16セッション)やアイドル状態を評価し、タスク後に開いたセッションが放置されている間のCPU時間とメモリを記録します。アイドルメモリをコード、マッピングされたファイル、ヒープ、データに分解し、リソース配分の詳細な理解を提供します。データは複数回の実行の中央値として提示され、ひげとバンドが範囲を示し、開発者やユーザーにとって堅牢で信頼性の高い比較を提供します。
- カテゴリーAI DevOps・クラウドツール
- デプロイクラウド
- プラットフォームWeb
Harness Resource Benchの主要機能
コーディングエージェントのための包括的なリソース測定
起動時間、メモリ、CPU時間、セッションデータ、インストールサイズを評価
fx、smelt、pi、Claude Code、codex、omp、opencodeなどのエージェントを比較
一貫したコンテナ環境での標準化されたスクリプトワークロード
起動パフォーマンスの詳細な内訳(時間、メモリ、ディスク)
コーディングタスク中のCPU時間の分析(ヘッドレス、TUI、端末)
長いセッション中のメモリとCPU時間の測定(64ターン)
ディスクに保存されたセッションデータの追跡(トランスクリプト、履歴、ログ)
新しいセッションのメモリフットプリントの評価
アイドル状態中のCPU時間とメモリ使用量の監視
アイドルメモリのコード、ヒープ、データへの詳細な内訳
すべての測定の中央値と範囲
エージェントの機能とそのリソースコストの影響の比較
固定リソースを持つAMD Ryzen 9 7900Xマシンで収集されたデータ
Harness Resource Benchの使い方は?
ベンチマークにアクセス: Harness Resource Benchのウェブサイトに移動して最新のリソース使用データを表示します。
エージェントの概要を確認: 様々なコーディングエージェントの中央値リソース使用を異なる指標で調べます。
データをソート: 特定の指標(起動時間やCPU使用量など)でデータをソートするために任意の列ヘッダーをクリックします。
エージェントを比較: 各エージェントのパフォーマンスを分析し、特定のカテゴリ(例: 起動時間でのfx)でリードしているエージェントを特定します。
指標を理解: 'Start'、'コーディングタスク'、'長いセッション'、'アイドル'などの各測定カテゴリの詳細な説明を探ります。
理由セクションを参照: 各エージェントの観察されたリソース動作の背後にある理由についての洞察を得るために「なぜ」セクションを読みます。
Harness Resource Benchの使用例
- コーディングエージェントの選択
- パフォーマンス最適化
- リソース計画
- 比較分析
- 開発者ツールの評価






