설명
Harness Resource Bench는 다양한 코딩 에이전트의 리소스 소비를 면밀히 측정하고 비교하기 위해 설계된 전문 플랫폼입니다. 이 플랫폼은 각 에이전트가 기계의 성능과 리소스에 미치는 영향을 포괄적으로 개관하며, 스타트업 시간, 메모리 사용량, CPU 시간, 세션 데이터 및 설치 크기와 같은 중요한 지표에 중점을 둡니다.
더 읽기
이 방법론은 각 코딩 에이전트를 동일한 스크립트 작업을 동일한 컨테이너 환경 내에서 실행하는 것을 포함합니다. 이는 측정의 공정성과 일관성을 보장하여 fx, smelt, pi, Claude Code, codex, omp 및 opencode와 같은 에이전트 간의 직접 비교를 가능하게 합니다. 이 플랫폼은 낮은 수치가 더 나은 성능을 나타내는 가장 효율적인 에이전트를 식별하는 것을 목표로 합니다.
측정의 주요 영역에는 스타트업 성능이 포함되며, 에이전트가 얼마나 빠르게 시작되고 초기 메모리 및 디스크 요구 사항이 무엇인지에 대한 세부 정보를 제공합니다. 또한 첫 번째 요청 후의 메모리(차가운 파일 캐시 사용 시)와 설치 크기를 조사하며, 파일 유형별로 디스크 공간을 분해합니다. 예를 들어, pi의 설치 크기에는 작동에 필수적인 Node.js가 포함되어 있음을 언급합니다.
코딩 작업을 위해 벤치는 24개의 도구 호출이 포함된 작업 중 CPU 시간을 측정하며, 모델은 초당 120개의 토큰을 스트리밍합니다. 이는 TUI 없이 헤드리스 CPU 사용량, TUI와 함께하는 추가 CPU 시간, 터미널(tmux)에서 필요한 최소 시간을 구분합니다. 긴 세션 분석은 64턴 동안의 메모리 및 CPU 시간을 다루며, 에이전트는 컨텍스트 한계 근처에서 자신의 기록을 압축합니다. 또한 세션 데이터가 디스크에 저장되는 것을 추적하며, 여기에는 전사, 기록, 데이터베이스 및 로그가 포함됩니다.
더욱이, Harness Resource Bench는 새로운 세션 중 리소스 사용을 평가하며(완료된 세션이 남긴 메모리를 측정하기 위해 하나의 프로세스에서 16개의 세션을 사용) 유휴 상태에서 CPU 시간과 메모리를 기록합니다. 작업 후 열려 있는 세션이 방치될 때의 메모리 사용량을 세분화하여 코드, 매핑된 파일, 힙 및 데이터로 나누어 리소스 할당에 대한 세밀한 이해를 제공합니다. 데이터는 여러 번의 실행의 중앙값으로 제공되며, 수염과 밴드는 범위를 나타내어 개발자와 사용자에게 강력하고 신뢰할 수 있는 비교를 제공합니다.
- 카테고리AI DevOps 및 클라우드 도구
- 배포클라우드
- 플랫폼웹
Harness Resource Bench의 핵심 기능
코딩 에이전트에 대한 포괄적인 리소스 측정
스타트업 시간, 메모리, CPU 시간, 세션 데이터 및 설치 크기 평가
fx, smelt, pi, Claude Code, codex, omp, opencode와 같은 에이전트 비교
일관된 컨테이너 환경에서 표준화된 스크립트 작업
스타트업 성능에 대한 세부 분석(시간, 메모리, 디스크)
코딩 작업 중 CPU 시간 분석(헤드리스, TUI, 터미널)
긴 세션에서의 메모리 및 CPU 시간 측정(64턴)
디스크에 저장된 세션 데이터 추적(전사, 기록, 로그)
새로운 세션에 대한 메모리 사용량 평가
유휴 상태에서의 CPU 시간 및 메모리 사용량 모니터링
유휴 메모리를 코드, 힙 및 데이터로 세분화
모든 측정에 대한 중앙값 및 범위
에이전트 기능 및 리소스 비용 영향 비교
고정 리소스를 가진 AMD Ryzen 9 7900X 기계에서 수집된 데이터
Harness Resource Bench 사용 방법은?
벤치마크 접근: Harness Resource Bench 웹사이트에 접속하여 최신 리소스 사용 데이터를 확인합니다.
에이전트 개요 검토: 다양한 코딩 에이전트의 중앙값 리소스 사용량을 다양한 지표에 따라 검토합니다.
데이터 정렬: 스타트업 시간 또는 CPU 사용량과 같은 특정 지표에 따라 데이터를 정렬하려면 열 헤더를 클릭합니다.
에이전트 비교: 특정 카테고리(예: 스타트업 시간에 대한 fx)에서 어떤 에이전트가 우수한지 분석합니다.
지표 이해: '시작', '코딩 작업', '긴 세션', '유휴'와 같은 각 측정 카테고리에 대한 자세한 설명을 탐색합니다.
이유 섹션 참조: 각 에이전트의 관찰된 리소스 행동에 대한 근본적인 이유에 대한 통찰력을 얻기 위해 '이유' 섹션을 읽습니다.
Harness Resource Bench의 사용 사례
- 코딩 에이전트 선택
- 성능 최적화
- 리소스 계획
- 비교 분석
- 개발자 도구 평가






