Pular para o conteúdo principal
ToolPotion
Consultor de IA
Enviar

Harness Resource Bench

Harness Resource Bench fornece medições detalhadas do uso de recursos para vários agentes de codificação, incluindo tempo de inicialização, memória, tempo de CPU, dados de sessão e tamanho de instalação. Ele avalia agentes como Claude Code, Codex, fx, omp, opencode, pi e smelt em cargas de trabalho scriptadas idênticas dentro de um ambiente de contêiner consistente, ajudando os usuários a entender o custo de suas máquinas. A plataforma oferece dados comparativos para identificar as ferramentas mais eficientes.

Visitar URL
Compartilhar
Captura de tela do Harness Resource Bench
Captura de tela do Harness Resource Bench

Harness Resource Bench é uma plataforma especializada projetada para medir e comparar meticulosamente o consumo de recursos de diferentes agentes de codificação. Ela fornece uma visão abrangente de quanto cada agente impacta o desempenho e os recursos de uma máquina, focando em métricas críticas como tempo de inicialização, uso de memória, tempo de CPU, dados de sessão e tamanho de instalação.

Ler mais

A metodologia envolve executar cada agente de codificação através da mesma carga de trabalho scriptada dentro de um ambiente de contêiner idêntico. Isso garante justiça e consistência nas medições, permitindo comparações diretas entre agentes como fx, smelt, pi, Claude Code, codex, omp e opencode. A plataforma visa identificar quais agentes são mais eficientes, com números mais baixos indicando melhor desempenho.

As principais áreas de medição incluem o desempenho de inicialização, detalhando quão rápido um agente é iniciado e suas necessidades iniciais de memória e disco. Também examina a memória no início (após a primeira solicitação com um cache de arquivo frio) e o tamanho da instalação, detalhando o espaço em disco por tipo de arquivo. Por exemplo, observa-se que o tamanho da instalação do pi inclui o Node.js, que é essencial para sua operação.

Para tarefas de codificação, o banco mede o tempo de CPU durante uma tarefa envolvendo 24 chamadas de ferramentas, com o modelo transmitindo 120 tokens por segundo. Ele diferencia entre o uso de CPU sem interface (sem o TUI), tempo adicional de CPU com o TUI e o tempo mínimo exigido pelo terminal (tmux). A análise de longas sessões cobre memória e tempo de CPU por turno em 64 turnos, onde os agentes compactam seu histórico próximo aos limites de contexto. Também rastreia dados de sessão no disco, incluindo transcrições, histórico, bancos de dados e logs.

Além disso, o Harness Resource Bench avalia o uso de recursos durante novas sessões (16 sessões em um processo para medir a memória deixada por sessões concluídas) e estados ociosos, registrando tempo de CPU e memória enquanto uma sessão aberta é deixada sozinha após uma tarefa. Ele até detalha a memória ociosa em código, arquivos mapeados, heap e dados para fornecer uma compreensão granular da alocação de recursos. Os dados são apresentados como medianas de várias execuções, com bigodes e bandas indicando a faixa, proporcionando uma comparação robusta e confiável para desenvolvedores e usuários.

  • CategoriaFerramentas de DevOps e nuvem com IA
  • ImplantaçãoNuvem
  • PlataformasWeb

  • Medição abrangente de recursos para agentes de codificação

  • Avalia tempo de inicialização, memória, tempo de CPU, dados de sessão e tamanho de instalação

  • Compara agentes como fx, smelt, pi, Claude Code, codex, omp, opencode

  • Cargas de trabalho scriptadas padronizadas em ambientes de contêiner consistentes

  • Detalhamento do desempenho de inicialização (tempo, memória, disco)

  • Análise do tempo de CPU durante tarefas de codificação (sem interface, TUI, terminal)

  • Medição de memória e tempo de CPU em longas sessões (64 turnos)

  • Rastreamento de dados de sessão armazenados no disco (transcrições, histórico, logs)

  • Avaliação da pegada de memória para novas sessões

  • Monitoramento do tempo de CPU e uso de memória durante estados ociosos

  • Detalhamento granular da memória ociosa em código, heap e dados

  • Valores medianos e faixas para todas as medições

  • Comparação das características dos agentes e suas implicações de custo de recursos

  • Dados coletados em uma máquina AMD Ryzen 9 7900X com recursos fixos

  1. Acesse os Benchmarks: Navegue até o site do Harness Resource Bench para visualizar os dados mais recentes sobre o uso de recursos.

  2. Revise a Visão Geral dos Agentes: Examine o uso médio de recursos para vários agentes de codificação em diferentes métricas.

  3. Classifique os Dados: Clique em qualquer cabeçalho de coluna para classificar os dados por métricas específicas, como tempo de inicialização ou uso de CPU.

  4. Compare Agentes: Analise o desempenho de cada agente, observando quais agentes se destacam em categorias específicas (por exemplo, fx para tempo de inicialização).

  5. Entenda as Métricas: Explore explicações detalhadas para cada categoria de medição, como 'Início', 'Uma tarefa de codificação', 'Uma longa sessão' e 'Ocioso'.

  6. Consulte as Seções de Por Quê: Leia as seções 'Por Quê' para obter insights sobre as razões subjacentes para os comportamentos de recursos observados de cada agente.

  • Seleção de Agente de Codificação
  • Otimização de Desempenho
  • Planejamento de Recursos
  • Análise Comparativa
  • Avaliação de Ferramentas para Desenvolvedores

Avaliações de Harness Resource Bench

Carregando...

Ferramentas de IA populares como Harness Resource Bench

Oqoqo

Apps de IA

Oqoqo permite que os usuários realizem experimentos de avaliação em larga escala em ambientes realistas usando infraestrutura de nuvem gerenciada. Ele possibilita a criação de…

Ferramentas de DevOps e nuvem com IA

Nº 147 para Ajuste fino de modelos de IA

Ver ferramenta

Apps de IA

Permite que os usuários realizem experimentos de avaliação em larga escala em ambientes realistas usando infraestrutura de nuvem gerenciada. Ele possibilita a criação de…Oqoqo permite que os usuários realizem experimentos de avaliação em larga escala em ambientes realistas usando infraestrutura de nuvem gerenciada. Ele possibilita a criação de…

Ferramentas de DevOps e nuvem com IA
Nº 147 para Ajuste fino de modelos de IA

Caprock

Apps de IA

Caprock é um aplicativo de desktop gratuito e de código aberto para macOS, Windows e Linux que atua como um livro-razão para todos os seus agentes de codificação, incluindo Claude…

Assistentes de programação com IA

Nº 224 para Monitoramento de modelos de IA

Ver ferramenta

Apps de IA

Aplicativo de desktop gratuito e de código aberto para macOS, Windows e Linux que atua como um livro-razão para todos os seus agentes de codificação, incluindo Claude…Caprock é um aplicativo de desktop gratuito e de código aberto para macOS, Windows e Linux que atua como um livro-razão para todos os seus agentes de codificação, incluindo Claude…

Assistentes de programação com IA
Nº 224 para Monitoramento de modelos de IA

Tokenwise

Apps de IA

Tokenwise é uma ferramenta de otimização de custo e desempenho para APIs LLM. Ajuda desenvolvedores e pequenas equipes a economizar mais de 30% nos custos de API, monitorando o…

Ferramentas de DevOps e nuvem com IA

Nº 161 em Ferramentas de DevOps e nuvem com IA

Ver ferramenta

Apps de IA

Ferramenta de otimização de custo e desempenho para APIs LLM. Ajuda desenvolvedores e pequenas equipes a economizar mais de 30% nos custos de API, monitorando o…Tokenwise é uma ferramenta de otimização de custo e desempenho para APIs LLM. Ajuda desenvolvedores e pequenas equipes a economizar mais de 30% nos custos de API, monitorando o…

Ferramentas de DevOps e nuvem com IA
Nº 161 em Ferramentas de DevOps e nuvem com IA

Tally by OpenOrigins fornece uma plataforma unificada para gerenciar e monitorar os agentes de IA da sua equipe. Oferece transparência nas atividades dos agentes, rastreia gastos…

Ferramentas de DevOps e nuvem com IA
Ver ferramenta

Fornece uma plataforma unificada para gerenciar e monitorar os agentes de IA da sua equipe. Oferece transparência nas atividades dos agentes, rastreia gastos…Tally by OpenOrigins fornece uma plataforma unificada para gerenciar e monitorar os agentes de IA da sua equipe. Oferece transparência nas atividades dos agentes, rastreia gastos…

Ferramentas de DevOps e nuvem com IA
Ver o Top 250 de Apps de IA

TokenEconomizer

Repositórios de IA no GitHub

TokenEconomizer é um projeto do GitHub da Microsoft que fornece controle de custos em black-box orientado pela experiência para agentes de codificação. Ele ajuda a gerenciar e…

Ferramentas de DevOps e nuvem com IA
Ver ferramenta

Repositórios de IA no GitHub

Projeto do GitHub da Microsoft que fornece controle de custos em black-box orientado pela experiência para agentes de codificação. Ele ajuda a gerenciar e…TokenEconomizer é um projeto do GitHub da Microsoft que fornece controle de custos em black-box orientado pela experiência para agentes de codificação. Ele ajuda a gerenciar e…

Ferramentas de DevOps e nuvem com IA
Ver o Top 250 de Repositórios de IA no GitHub

Vantage AI Workflows otimiza a infraestrutura de IA monitorando e integrando-se com fluxos de trabalho existentes. Ele fornece ferramentas para análise de custos impulsionada por…

Ferramentas de DevOps e nuvem com IAFinanças e serviços bancários
Ver ferramenta

Otimiza a infraestrutura de IA monitorando e integrando-se com fluxos de trabalho existentes. Ele fornece ferramentas para análise de custos impulsionada por…Vantage AI Workflows otimiza a infraestrutura de IA monitorando e integrando-se com fluxos de trabalho existentes. Ele fornece ferramentas para análise de custos impulsionada por…

Ferramentas de DevOps e nuvem com IAFinanças e serviços bancários
Ver o Top 250 de Apps de IA

IQ

Apps de IA

IQ fornece um painel unificado para monitorar e gerenciar o uso e os gastos de IA da sua equipe em vários provedores. Oferece controles robustos para orçamentos, chaves de API e…

Ferramentas de DevOps e nuvem com IA

Nº 97 para Rastreamento de despesas & orçamentos

Ver ferramenta

Apps de IA

Fornece um painel unificado para monitorar e gerenciar o uso e os gastos de IA da sua equipe em vários provedores. Oferece controles robustos para orçamentos, chaves de API e…IQ fornece um painel unificado para monitorar e gerenciar o uso e os gastos de IA da sua equipe em vários provedores. Oferece controles robustos para orçamentos, chaves de API e…

Ferramentas de DevOps e nuvem com IA
Nº 97 para Rastreamento de despesas & orçamentos

Aspire é uma ferramenta gratuita e de código aberto para construir, executar, depurar e implantar aplicações distribuídas em qualquer linguagem, stack ou nuvem. Oferece uma…

Ferramentas de DevOps e nuvem com IA
Ver ferramenta

Ferramenta gratuita e de código aberto para construir, executar, depurar e implantar aplicações distribuídas em qualquer linguagem, stack ou nuvem. Oferece uma…Aspire é uma ferramenta gratuita e de código aberto para construir, executar, depurar e implantar aplicações distribuídas em qualquer linguagem, stack ou nuvem. Oferece uma…

Ferramentas de DevOps e nuvem com IA
Ver o Top 250 de Apps de IA
1 de 8