Descrição
Harness Resource Bench é uma plataforma especializada projetada para medir e comparar meticulosamente o consumo de recursos de diferentes agentes de codificação. Ela fornece uma visão abrangente de quanto cada agente impacta o desempenho e os recursos de uma máquina, focando em métricas críticas como tempo de inicialização, uso de memória, tempo de CPU, dados de sessão e tamanho de instalação.
Ler mais
A metodologia envolve executar cada agente de codificação através da mesma carga de trabalho scriptada dentro de um ambiente de contêiner idêntico. Isso garante justiça e consistência nas medições, permitindo comparações diretas entre agentes como fx, smelt, pi, Claude Code, codex, omp e opencode. A plataforma visa identificar quais agentes são mais eficientes, com números mais baixos indicando melhor desempenho.
As principais áreas de medição incluem o desempenho de inicialização, detalhando quão rápido um agente é iniciado e suas necessidades iniciais de memória e disco. Também examina a memória no início (após a primeira solicitação com um cache de arquivo frio) e o tamanho da instalação, detalhando o espaço em disco por tipo de arquivo. Por exemplo, observa-se que o tamanho da instalação do pi inclui o Node.js, que é essencial para sua operação.
Para tarefas de codificação, o banco mede o tempo de CPU durante uma tarefa envolvendo 24 chamadas de ferramentas, com o modelo transmitindo 120 tokens por segundo. Ele diferencia entre o uso de CPU sem interface (sem o TUI), tempo adicional de CPU com o TUI e o tempo mínimo exigido pelo terminal (tmux). A análise de longas sessões cobre memória e tempo de CPU por turno em 64 turnos, onde os agentes compactam seu histórico próximo aos limites de contexto. Também rastreia dados de sessão no disco, incluindo transcrições, histórico, bancos de dados e logs.
Além disso, o Harness Resource Bench avalia o uso de recursos durante novas sessões (16 sessões em um processo para medir a memória deixada por sessões concluídas) e estados ociosos, registrando tempo de CPU e memória enquanto uma sessão aberta é deixada sozinha após uma tarefa. Ele até detalha a memória ociosa em código, arquivos mapeados, heap e dados para fornecer uma compreensão granular da alocação de recursos. Os dados são apresentados como medianas de várias execuções, com bigodes e bandas indicando a faixa, proporcionando uma comparação robusta e confiável para desenvolvedores e usuários.
- CategoriaFerramentas de DevOps e nuvem com IA
- ImplantaçãoNuvem
- PlataformasWeb
Recursos principais de Harness Resource Bench
Medição abrangente de recursos para agentes de codificação
Avalia tempo de inicialização, memória, tempo de CPU, dados de sessão e tamanho de instalação
Compara agentes como fx, smelt, pi, Claude Code, codex, omp, opencode
Cargas de trabalho scriptadas padronizadas em ambientes de contêiner consistentes
Detalhamento do desempenho de inicialização (tempo, memória, disco)
Análise do tempo de CPU durante tarefas de codificação (sem interface, TUI, terminal)
Medição de memória e tempo de CPU em longas sessões (64 turnos)
Rastreamento de dados de sessão armazenados no disco (transcrições, histórico, logs)
Avaliação da pegada de memória para novas sessões
Monitoramento do tempo de CPU e uso de memória durante estados ociosos
Detalhamento granular da memória ociosa em código, heap e dados
Valores medianos e faixas para todas as medições
Comparação das características dos agentes e suas implicações de custo de recursos
Dados coletados em uma máquina AMD Ryzen 9 7900X com recursos fixos
Como usar Harness Resource Bench?
Acesse os Benchmarks: Navegue até o site do Harness Resource Bench para visualizar os dados mais recentes sobre o uso de recursos.
Revise a Visão Geral dos Agentes: Examine o uso médio de recursos para vários agentes de codificação em diferentes métricas.
Classifique os Dados: Clique em qualquer cabeçalho de coluna para classificar os dados por métricas específicas, como tempo de inicialização ou uso de CPU.
Compare Agentes: Analise o desempenho de cada agente, observando quais agentes se destacam em categorias específicas (por exemplo, fx para tempo de inicialização).
Entenda as Métricas: Explore explicações detalhadas para cada categoria de medição, como 'Início', 'Uma tarefa de codificação', 'Uma longa sessão' e 'Ocioso'.
Consulte as Seções de Por Quê: Leia as seções 'Por Quê' para obter insights sobre as razões subjacentes para os comportamentos de recursos observados de cada agente.
Casos de uso de Harness Resource Bench
- Seleção de Agente de Codificação
- Otimização de Desempenho
- Planejamento de Recursos
- Análise Comparativa
- Avaliação de Ferramentas para Desenvolvedores






