跳转到主要内容
ToolPotion
AI 顾问
提交(免费)

Harness Resource Bench

Harness Resource Bench 提供了对各种编码代理的资源使用的详细测量,包括启动时间、内存、CPU 时间、会话数据和安装大小。它在一致的容器环境中对 Claude Code、Codex、fx、omp、opencode、pi 和 smelt 等代理进行相同脚本工作负载的评估,帮助用户了解其机器成本。该平台提供比较数据,以识别最有效的工具。

访问URL
分享
Harness Resource Bench 截图
Harness Resource Bench 截图

Harness Resource Bench 是一个专门的平台,旨在仔细测量和比较不同编码代理的资源消耗。它提供了每个代理对机器性能和资源影响的全面概述,重点关注关键指标,如启动时间、内存使用、CPU 时间、会话数据和安装大小。

阅读更多

该方法涉及在相同的容器环境中通过相同的脚本工作负载运行每个编码代理。这确保了测量的公平性和一致性,使得可以直接比较 fx、smelt、pi、Claude Code、codex、omp 和 opencode 等代理。该平台旨在识别哪些代理最有效,数字越低表示性能越好。

测量的关键领域包括启动性能,详细说明代理启动的速度及其初始内存和磁盘需求。它还检查启动时的内存(在冷文件缓存的第一次请求后)和安装大小,按文件类型细分磁盘空间。例如,它指出 pi 的安装大小包括 Node.js,这是其操作所必需的。

对于编码任务,基准测量在涉及 24 次工具调用的任务中 CPU 时间,模型以每秒 120 个标记进行流式传输。它区分无头 CPU 使用(没有 TUI)、带 TUI 的额外 CPU 时间和终端所需的最小时间(tmux)。长会话分析涵盖在 64 次回合中每次的内存和 CPU 时间,代理在上下文限制附近压缩其历史。它还跟踪存储在磁盘上的会话数据,包括转录、历史记录、数据库和日志。

此外,Harness Resource Bench 评估新会话期间的资源使用(在一个进程中进行 16 次会话,以测量已完成会话留下的内存)和空闲状态,记录在任务后一个开放会话被单独留下时的 CPU 时间和内存。它甚至将空闲内存细分为代码、映射文件、堆和数据,以提供对资源分配的细致理解。数据以多次运行的中位数形式呈现,须条和带状图指示范围,为开发人员和用户提供了强大而可靠的比较。

  • 类别AI DevOps 与云工具
  • 部署云端
  • 平台网页版

  • 对编码代理的全面资源测量

  • 评估启动时间、内存、CPU 时间、会话数据和安装大小

  • 比较 fx、smelt、pi、Claude Code、codex、omp、opencode 等代理

  • 在一致的容器环境中标准化脚本工作负载

  • 详细分解启动性能(时间、内存、磁盘)

  • 在编码任务中分析 CPU 时间(无头、TUI、终端)

  • 在长会话中测量内存和 CPU 时间(64 次回合)

  • 跟踪存储在磁盘上的会话数据(转录、历史记录、日志)

  • 评估新会话的内存占用

  • 监控空闲状态下的 CPU 时间和内存使用

  • 将空闲内存细分为代码、堆和数据

  • 所有测量的中位数值和范围

  • 比较代理特性及其资源成本影响

  • 在固定资源的 AMD Ryzen 9 7900X 机器上收集数据

  1. 访问基准:导航到 Harness Resource Bench 网站以查看最新的资源使用数据。

  2. 查看代理概述:检查各种编码代理在不同指标上的中位资源使用。

  3. 排序数据:单击任何列标题按特定指标(如启动时间或 CPU 使用)对数据进行排序。

  4. 比较代理:分析单个代理的性能,注意哪些代理在特定类别中领先(例如,fx 在启动时间上)。

  5. 理解指标:探索每个测量类别的详细解释,例如「启动」、「编码任务」、「长会话」和「空闲」。

  6. 咨询原因部分:阅读「原因」部分以获取有关每个代理观察到的资源行为的潜在原因的见解。

  • 编码代理选择
  • 性能优化
  • 资源规划
  • 比较分析
  • 开发工具评估

Harness Resource Bench 评价

加载中...

与 Harness Resource Bench 类似的热门AI工具

Oqoqo

AI 应用

Oqoqo使用户能够在现实环境中使用托管的云基础设施大规模运行评估实验。它允许创建自定义任务集,以构建私有基准,评估代理性能,并识别最佳的代理-模型组合。

AI DevOps 与云工具

微调AI模型 排名第 147 位

查看工具

AI 应用

使用户能够在现实环境中使用托管的云基础设施大规模运行评估实验。它允许创建自定义任务集,以构建私有基准,评估代理性能,并识别最佳的代理-模型组合。Oqoqo使用户能够在现实环境中使用托管的云基础设施大规模运行评估实验。它允许创建自定义任务集,以构建私有基准,评估代理性能,并识别最佳的代理-模型组合。

AI DevOps 与云工具
微调AI模型 排名第 147 位

Caprock

AI 应用

Caprock 是一款免费的开源桌面应用程序,适用于 macOS、Windows 和 Linux,充当所有编码代理的账本,包括 Claude Code、Codex、OpenCode 和 Gemini CLI。它跟踪代理活动,识别卡住的会话,监控计划限制,并计算每个拉取请求的成本,确保所有数据默认保留在您的机器上。

AI 编程助手

监控AI模型 排名第 224 位

查看工具

AI 应用

免费的开源桌面应用程序,适用于 macOS、Windows 和 Linux,充当所有编码代理的账本,包括 Claude Code、Codex、OpenCode 和 Gemini CLI。它跟踪代理活动,识别卡住的会话,监控计划限制,并计算每个拉取请求的成本,确保所有数据默认保留在您的机器上。Caprock 是一款免费的开源桌面应用程序,适用于 macOS、Windows 和 Linux,充当所有编码代理的账本,包括 Claude Code、Codex、OpenCode 和 Gemini CLI。它跟踪代理活动,识别卡住的会话,监控计划限制,并计算每个拉取请求的成本,确保所有数据默认保留在您的机器上。

AI 编程助手
监控AI模型 排名第 224 位

Tokenwise

AI 应用

Tokenwise 是一个用于 LLM API 的成本和性能优化工具。它帮助开发者和小团队通过监控使用情况、检测浪费,并提供每周优化见解,节省超过 30% 的 API 成本,设置简单。

AI DevOps 与云工具

AI DevOps 与云工具 排名第 161 位

查看工具

AI 应用

用于 LLM API 的成本和性能优化工具。它帮助开发者和小团队通过监控使用情况、检测浪费,并提供每周优化见解,节省超过 30% 的 API 成本,设置简单。Tokenwise 是一个用于 LLM API 的成本和性能优化工具。它帮助开发者和小团队通过监控使用情况、检测浪费,并提供每周优化见解,节省超过 30% 的 API 成本,设置简单。

AI DevOps 与云工具
AI DevOps 与云工具 排名第 161 位

Tally by OpenOrigins 提供了一个统一的平台,用于管理和监控您团队的 AI 代理。它提供了对代理活动的透明度,跟踪支出,并确保对您的 AI 生态系统的控制。从一个集中式仪表板连接多种 AI 系统,了解团队贡献,并优化代理效率,以构建更好的 AI 解决方案。

AI DevOps 与云工具
查看工具

提供了一个统一的平台,用于管理和监控您团队的 AI 代理。它提供了对代理活动的透明度,跟踪支出,并确保对您的 AI 生态系统的控制。从一个集中式仪表板连接多种 AI 系统,了解团队贡献,并优化代理效率,以构建更好的 AI 解决方案。Tally by OpenOrigins 提供了一个统一的平台,用于管理和监控您团队的 AI 代理。它提供了对代理活动的透明度,跟踪支出,并确保对您的 AI 生态系统的控制。从一个集中式仪表板连接多种 AI 系统,了解团队贡献,并优化代理效率,以构建更好的 AI 解决方案。

AI DevOps 与云工具
查看 AI 应用 Top 250

TokenEconomizer

AI GitHub 仓库

TokenEconomizer是微软在GitHub上的一个项目,提供基于经验的黑箱成本控制,旨在管理和优化AI驱动的编码工具的令牌使用,确保高效的操作和资源分配。该存储库为开发人员提供了一个框架,以在其基于代理的应用程序中实施成本意识策略,专注于实用的控制机制。

AI DevOps 与云工具
查看工具

AI GitHub 仓库

微软在GitHub上的一个项目,提供基于经验的黑箱成本控制,旨在管理和优化AI驱动的编码工具的令牌使用,确保高效的操作和资源分配。该存储库为开发人员提供了一个框架,以在其基于代理的应用程序中实施成本意识策略,专注于实用的控制机制。TokenEconomizer是微软在GitHub上的一个项目,提供基于经验的黑箱成本控制,旨在管理和优化AI驱动的编码工具的令牌使用,确保高效的操作和资源分配。该存储库为开发人员提供了一个框架,以在其基于代理的应用程序中实施成本意识策略,专注于实用的控制机制。

AI DevOps 与云工具
查看 AI GitHub 仓库 Top 250

Vantage AI 工作流通过监控和整合现有工作流来优化 AI 基础设施。它提供 AI 驱动的成本分析工具,使各种 AI 模型和平台的资源管理和成本优化更加高效。

AI DevOps 与云工具金融与银行
查看工具

通过监控和整合现有工作流来优化 AI 基础设施。它提供 AI 驱动的成本分析工具,使各种 AI 模型和平台的资源管理和成本优化更加高效。Vantage AI 工作流通过监控和整合现有工作流来优化 AI 基础设施。它提供 AI 驱动的成本分析工具,使各种 AI 模型和平台的资源管理和成本优化更加高效。

AI DevOps 与云工具金融与银行
查看 AI 应用 Top 250

IQ

AI 应用

IQ 提供一个统一的仪表板,以监控和管理您团队在多个供应商之间的 AI 使用和支出。它提供了强大的预算、API 密钥和访问控制,内置路由以优化成本。该平台支持多种 AI 模型,并包括审计日志、警报和成员角色等功能,以增强治理和效率。

AI DevOps 与云工具

跟踪开支和预算 排名第 97 位

查看工具

AI 应用

提供一个统一的仪表板,以监控和管理您团队在多个供应商之间的 AI 使用和支出。它提供了强大的预算、API 密钥和访问控制,内置路由以优化成本。该平台支持多种 AI 模型,并包括审计日志、警报和成员角色等功能,以增强治理和效率。IQ 提供一个统一的仪表板,以监控和管理您团队在多个供应商之间的 AI 使用和支出。它提供了强大的预算、API 密钥和访问控制,内置路由以优化成本。该平台支持多种 AI 模型,并包括审计日志、警报和成员角色等功能,以增强治理和效率。

AI DevOps 与云工具
跟踪开支和预算 排名第 97 位

Aspire 是一个免费的开源工具,用于构建、运行、调试和部署跨语言、技术栈或云的分布式应用。它提供了一种以代码为中心的方法,具备代理就绪的能力。

AI DevOps 与云工具
查看工具

免费的开源工具,用于构建、运行、调试和部署跨语言、技术栈或云的分布式应用。它提供了一种以代码为中心的方法,具备代理就绪的能力。Aspire 是一个免费的开源工具,用于构建、运行、调试和部署跨语言、技术栈或云的分布式应用。它提供了一种以代码为中心的方法,具备代理就绪的能力。

AI DevOps 与云工具
查看 AI 应用 Top 250
1/8