描述
Harness Resource Bench 是一个专门的平台,旨在仔细测量和比较不同编码代理的资源消耗。它提供了每个代理对机器性能和资源影响的全面概述,重点关注关键指标,如启动时间、内存使用、CPU 时间、会话数据和安装大小。
阅读更多
该方法涉及在相同的容器环境中通过相同的脚本工作负载运行每个编码代理。这确保了测量的公平性和一致性,使得可以直接比较 fx、smelt、pi、Claude Code、codex、omp 和 opencode 等代理。该平台旨在识别哪些代理最有效,数字越低表示性能越好。
测量的关键领域包括启动性能,详细说明代理启动的速度及其初始内存和磁盘需求。它还检查启动时的内存(在冷文件缓存的第一次请求后)和安装大小,按文件类型细分磁盘空间。例如,它指出 pi 的安装大小包括 Node.js,这是其操作所必需的。
对于编码任务,基准测量在涉及 24 次工具调用的任务中 CPU 时间,模型以每秒 120 个标记进行流式传输。它区分无头 CPU 使用(没有 TUI)、带 TUI 的额外 CPU 时间和终端所需的最小时间(tmux)。长会话分析涵盖在 64 次回合中每次的内存和 CPU 时间,代理在上下文限制附近压缩其历史。它还跟踪存储在磁盘上的会话数据,包括转录、历史记录、数据库和日志。
此外,Harness Resource Bench 评估新会话期间的资源使用(在一个进程中进行 16 次会话,以测量已完成会话留下的内存)和空闲状态,记录在任务后一个开放会话被单独留下时的 CPU 时间和内存。它甚至将空闲内存细分为代码、映射文件、堆和数据,以提供对资源分配的细致理解。数据以多次运行的中位数形式呈现,须条和带状图指示范围,为开发人员和用户提供了强大而可靠的比较。
- 类别AI DevOps 与云工具
- 部署云端
- 平台网页版
Harness Resource Bench的核心功能
对编码代理的全面资源测量
评估启动时间、内存、CPU 时间、会话数据和安装大小
比较 fx、smelt、pi、Claude Code、codex、omp、opencode 等代理
在一致的容器环境中标准化脚本工作负载
详细分解启动性能(时间、内存、磁盘)
在编码任务中分析 CPU 时间(无头、TUI、终端)
在长会话中测量内存和 CPU 时间(64 次回合)
跟踪存储在磁盘上的会话数据(转录、历史记录、日志)
评估新会话的内存占用
监控空闲状态下的 CPU 时间和内存使用
将空闲内存细分为代码、堆和数据
所有测量的中位数值和范围
比较代理特性及其资源成本影响
在固定资源的 AMD Ryzen 9 7900X 机器上收集数据
如何使用 Harness Resource Bench?
访问基准:导航到 Harness Resource Bench 网站以查看最新的资源使用数据。
查看代理概述:检查各种编码代理在不同指标上的中位资源使用。
排序数据:单击任何列标题按特定指标(如启动时间或 CPU 使用)对数据进行排序。
比较代理:分析单个代理的性能,注意哪些代理在特定类别中领先(例如,fx 在启动时间上)。
理解指标:探索每个测量类别的详细解释,例如「启动」、「编码任务」、「长会话」和「空闲」。
咨询原因部分:阅读「原因」部分以获取有关每个代理观察到的资源行为的潜在原因的见解。
Harness Resource Bench的使用案例
- 编码代理选择
- 性能优化
- 资源规划
- 比较分析
- 开发工具评估






