Deskripsi
Harness Resource Bench adalah platform khusus yang dirancang untuk mengukur dan membandingkan konsumsi sumber daya dari berbagai agen pengkodean dengan cermat. Ini memberikan gambaran komprehensif tentang seberapa besar setiap agen mempengaruhi kinerja dan sumber daya mesin, dengan fokus pada metrik kritis seperti waktu startup, penggunaan memori, waktu CPU, data sesi, dan ukuran instalasi.
Baca Selengkapnya
Metodologi ini melibatkan menjalankan setiap agen pengkodean melalui beban kerja skrip yang sama dalam lingkungan kontainer yang identik. Ini memastikan keadilan dan konsistensi dalam pengukuran, memungkinkan perbandingan langsung antara agen seperti fx, smelt, pi, Claude Code, codex, omp, dan opencode. Platform ini bertujuan untuk mengidentifikasi agen mana yang paling efisien, dengan angka yang lebih rendah menunjukkan kinerja yang lebih baik.
Area pengukuran kunci mencakup kinerja startup, merinci seberapa cepat agen diluncurkan dan kebutuhan memori serta disk awalnya. Ini juga memeriksa memori saat mulai (setelah permintaan pertama dengan cache file dingin) dan ukuran instalasi, memecah ruang disk berdasarkan jenis file. Misalnya, dicatat bahwa ukuran instalasi pi mencakup Node.js, yang penting untuk operasinya.
Untuk tugas pengkodean, bench mengukur waktu CPU selama tugas yang melibatkan 24 panggilan alat, dengan model yang mengalirkan 120 token per detik. Ini membedakan antara penggunaan CPU tanpa antarmuka pengguna (headless) (tanpa TUI), waktu CPU tambahan dengan TUI, dan waktu yang dibutuhkan oleh terminal (tmux). Analisis sesi panjang mencakup memori dan waktu CPU per giliran selama 64 giliran, di mana agen mengompak sejarah mereka mendekati batas konteks. Ini juga melacak data sesi di disk, termasuk transkrip, sejarah, basis data, dan log.
Selain itu, Harness Resource Bench menilai penggunaan sumber daya selama sesi baru (16 sesi dalam satu proses untuk mengukur memori yang tertinggal dari sesi yang telah selesai) dan keadaan idle, merekam waktu CPU dan memori saat sesi terbuka dibiarkan sendiri setelah tugas. Ini bahkan memecah memori idle menjadi kode, file yang dipetakan, heap, dan data untuk memberikan pemahaman yang lebih mendetail tentang alokasi sumber daya. Data disajikan sebagai median dari beberapa pengulangan, dengan whiskers dan pita yang menunjukkan rentang, memberikan perbandingan yang kuat dan dapat diandalkan bagi pengembang dan pengguna.
- KategoriAlat DevOps & Cloud AI
- PenerapanCloud
- PlatformWeb
Fitur Inti Harness Resource Bench
Pengukuran sumber daya yang komprehensif untuk agen pengkodean
Mengevaluasi waktu startup, memori, waktu CPU, data sesi, dan ukuran instalasi
Membandingkan agen seperti fx, smelt, pi, Claude Code, codex, omp, opencode
Beban kerja skrip yang distandarisasi dalam lingkungan kontainer yang konsisten
Rincian kinerja startup yang mendetail (waktu, memori, disk)
Analisis waktu CPU selama tugas pengkodean (headless, TUI, terminal)
Pengukuran memori dan waktu CPU dalam sesi panjang (64 giliran)
Pelacakan data sesi yang disimpan di disk (transkrip, sejarah, log)
Penilaian jejak memori untuk sesi baru
Pemantauan waktu CPU dan penggunaan memori selama keadaan idle
Rincian granular memori idle menjadi kode, heap, dan data
Nilai median dan rentang untuk semua pengukuran
Perbandingan fitur agen dan implikasi biaya sumber daya mereka
Data dikumpulkan pada mesin AMD Ryzen 9 7900X dengan sumber daya tetap
Cara menggunakan Harness Resource Bench?
Akses Benchmark: Arahkan ke situs web Harness Resource Bench untuk melihat data penggunaan sumber daya terbaru.
Tinjau Ikhtisar Agen: Periksa penggunaan sumber daya median untuk berbagai agen pengkodean di berbagai metrik.
Urutkan Data: Klik pada header kolom mana pun untuk mengurutkan data berdasarkan metrik tertentu seperti waktu startup atau penggunaan CPU.
Bandingkan Agen: Analisis kinerja agen individu, mencatat agen mana yang unggul dalam kategori tertentu (misalnya, fx untuk waktu startup).
Pahami Metrik: Jelajahi penjelasan terperinci untuk setiap kategori pengukuran, seperti 'Mulai', 'Tugas pengkodean', 'Sesi panjang', dan 'Idle'.
Konsultasikan Bagian Mengapa: Bacalah bagian 'Mengapa' untuk wawasan tentang alasan mendasar untuk perilaku sumber daya yang diamati dari setiap agen.
Kasus Penggunaan Harness Resource Bench
- Pemilihan Agen Pengkodean
- Optimisasi Kinerja
- Perencanaan Sumber Daya
- Analisis Komparatif
- Evaluasi Alat Pengembang






