Bagi sebagian besar developer di 2026, pilihan sebenarnya ada di antara Claude Code dan Codex, dan pada benchmark publik tersulit untuk pekerjaan terminal, keduanya imbang dalam batas margin kesalahan. Gemini CLI, nama ketiga di setiap perbandingan tahun lalu, sudah tidak tersedia untuk pengguna gratis dan konsumer: awal tahun ini Google menggantinya dengan tool closed-source bernama Antigravity CLI.
Itu mengubah keputusan Anda. Dua teratas bergantian memimpin di tiap rilis, jadi kualitas model bukan penentu yang kuat. Yang membedakan tool-tool ini sekarang adalah apa yang boleh dilakukan agen di mesin Anda tanpa bertanya, bagaimana Anda membayarnya, dan apakah seorang team lead bisa mengendalikan keduanya. Codex punya default paling aman dan klien open-source. Claude Code punya toolkit terdalam untuk tim yang ingin membuat skrip dan memperluasnya. CLI dari GitHub Copilot cocok untuk organisasi yang sudah bekerja di GitHub dan ingin model dari beberapa lab dalam satu tagihan, dan OpenCode adalah pilihan jika Anda ingin open source dan bebas memakai model apa pun.
Harga dan fitur di bawah ini bersumber dari dokumentasi vendor dan halaman harga, dan setiap angka benchmark menyebutkan sumbernya.
Apa yang berubah pada agen terminal tahun ini
Ada empat pergeseran yang penting jika terakhir kali Anda menengok kategori ini setahun lalu.
Google mempensiunkan Gemini CLI untuk sebagian besar orang. Di Google I/O, Google mengumumkan bahwa Gemini CLI akan berhenti melayani permintaan dari pengguna gratis serta pelanggan Google AI Pro dan Ultra, dengan ekstensi IDE-nya dimatikan pada hari yang sama (Google Developers Blog). Penggantinya, Antigravity CLI, ditulis dalam Go dan berjalan di atas fondasi agen yang sama dengan aplikasi desktop Antigravity 2.0 milik Google. Organisasi yang memakai Gemini Code Assist Standard atau Enterprise, serta developer yang membayar lewat Gemini API key, tetap bisa memakai Gemini CLI.
GitHub merilis Copilot CLI secara umum, lalu memindahkan semua paket Copilot ke AI credits berbasis penggunaan, sehingga sesi terminal sekarang memotong jatah terukur senilai $0,01 per kredit (GitHub Docs).
Anthropic mengubah apa yang terjadi saat Anda membuka sesi. Mulai Claude Code v2.1.283, sesi terminal interaktif dimulai dalam auto mode, di mana model kedua, yang oleh Anthropic disebut classifier, meninjau tindakan alih-alih meminta persetujuan Anda satu per satu (dokumentasi Claude Code).
OpenAI memperbarui Codex CLI minggu ini dengan kontrol suara, tampilan /agents untuk memantau tugas paralel, dan lingkungan cloud yang bisa dipakai ulang dan dibagikan tim dengan pengaturan serta izin yang telah disetujui (TechCrunch). Sementara itu, Aider, opsi open-source veteran, belum merilis apa pun sejak patch minor di awal tahun ini, dan rilis fiturnya yang terakhir berasal dari tahun lalu (PyPI).
Siklus yang dijalankan setiap agen terminal
Singkirkan branding-nya, dan semua tool ini mengerjakan hal yang sama. Anda menjelaskan tugas dengan bahasa biasa. Agen membaca file yang relevan, menyusun rencana, mengedit sebanyak apa pun file yang diperlukan, menjalankan build dan tes, lalu mengulang saat gagal sampai bisa menunjukkan diff kepada Anda.

Langkah yang disorot adalah yang harus Anda jadikan pusat desain, karena persetujuan adalah tempat penilaian Anda dan kebijakan keamanan Anda berada. Tool-tool ini berbeda di tiga titik di sekitar siklus itu: model mana yang menggerakkannya, apa yang boleh dilakukan agen sebelum Anda menyetujui, dan di mana ia berjalan (laptop Anda, sandbox OS, atau cloud vendor). Model memang jadi sorotan utama, tetapi dua hal lainnya yang menentukan apakah satu tim bisa memakainya.
Claude Code vs Codex, head to head
Keduanya jadi pilihan default dengan alasan yang kuat. Keduanya berjalan di macOS, Linux, dan Windows, sama-sama membaca file AGENTS.md, mendukung MCP server, skills, hooks, plugin, dan subagent, bisa mengirim tugas ke cloud, dan punya paket bulanan $20. Perbedaannya ada pada detail.
Mulai dari model. Claude Code hanya menjalankan model Anthropic dan default-nya Claude Opus 5.5 di semua paket, dengan Sonnet 5.5 dan Haiku sebagai opsi lebih murah, serta Fable 5.1, model paling mumpuni di Claude Code, sebagai opt-in eksplisit yang di beberapa paket ditagihkan ke kredit penggunaan tambahan. Codex memakai GPT-6.1 Sol sebagai default, yang menurut OpenAI hampir menyamai flagship GPT-6 Astra untuk agentic coding dengan seperlima harga API. Klien Codex open source di bawah Apache-2.0 (repositori openai/codex ditulis dalam Rust), sedangkan lisensi Claude Code berbunyi all rights reserved.
Default keamanan adalah pembeda yang lebih tajam. Di dalam repositori git, Codex mulai dengan preset yang disebutnya Auto: ia bisa membaca, mengedit, dan menjalankan perintah di workspace, tetapi sandbox OS (Seatbelt di macOS, bubblewrap plus seccomp di Linux, sandbox native di Windows) memblokir akses jaringan dan apa pun di luar proyek sampai Anda menyetujuinya (dokumentasi OpenAI). Di luar repo git, ia kembali ke read-only.
Claude Code mengambil jalur lain. Sandbox shell-nya mati secara default, dan garis pertahanan pertamanya adalah classifier auto-mode ditambah aturan deny, yang memblokir di semua mode. Saat Anda mengaktifkan sandbox, ia hanya membungkus perintah shell, dan perintah ter-sandbox masih bisa membaca sebagian besar isi mesin, termasuk ~/.ssh dan ~/.aws/credentials, sampai Anda menambahkan aturan deny (dokumentasi Claude Code). Di Windows native tidak ada sandbox sama sekali, dan Anthropic mengarahkan Anda ke WSL2.
Claude Code unggul dalam kedalaman. Plugin menggabungkan skills, subagent, hooks, dan MCP server, serta diinstal dari marketplace yang bisa di-allowlist atau diblokir admin. Routines menjalankan tugas terjadwal di cloud Anthropic, integrasi GitHub Actions dan GitLab CI/CD menangani review dan triase, dan Agent SDK memungkinkan Anda membangun agen di atas tool yang sama. Codex mencakup sebagian besar hal yang sama dengan lebih sedikit seremoni (hooks, skills, plugin, codex exec untuk skrip, GitHub Action), dan code review otomatisnya mencakup pull request GitHub dan merge request GitLab.
Jadi, di mana kelemahan masing-masing? Claude Code mengikat Anda pada satu lab dan mengandalkan penilaian model alih-alih batas OS sampai Anda mengubah pengaturan, sesuatu yang tidak diterima sebagian tim keamanan. Codex juga terikat pada satu lab, dan flagship-nya dijatah ketat di paket $20: OpenAI memperkirakan 5 sampai 45 pesan lokal per lima jam dengan GPT-6 Astra di Plus, dibandingkan 15 sampai 160 dengan GPT-6.1 Sol (harga OpenAI).
Antigravity CLI menggantikan Gemini CLI bagi sebagian besar orang
Cari Gemini CLI hari ini dan Anda masih akan menemukan repositori Apache-2.0 yang masih merilis versi baru (v0.62.0 hadir minggu ini). Namun dokumentasinya kini memuat banner yang memberi tahu pengguna gratis dan Google One bahwa Gemini CLI telah digantikan. Yang masih bisa memakainya adalah organisasi dengan lisensi Gemini Code Assist Standard atau Enterprise, serta developer dengan API key berbayar Gemini atau Gemini Enterprise Agent Platform.
CLI yang menggantikannya di dalam Google Antigravity adalah jenis produk yang berbeda. Ia closed source, dan Tech Times melaporkan bahwa repositori publiknya sama sekali tidak berisi kode sumber, sebuah titik sensitif bagi proyek yang menurut hitungan Google sendiri telah me-merge 6.000 pull request. Google mengakui belum ada kesetaraan fitur 1:1, meski skills, hooks, subagent, dan ekstensi (kini disebut plugin) ikut dipindahkan.
Ada juga sisi positifnya. Menu model Antigravity mencantumkan Gemini 3.8 Flash dan Gemini 3.1 Pro berdampingan dengan Claude Sonnet 5.5, Claude Opus 5.5, dan GPT-OSS-120b yang open-weight, sehingga satu langganan Google bisa menjangkau model dari dua lab, meski ketersediaannya beragam menurut tier. Preset default-nya di macOS dan Linux juga setidaknya seketat Codex di atas kertas: perintah terminal berjalan di sandbox tanpa jaringan, akses file berhenti di folder workspace dan temp, ~/.ssh dan file .env diblokir, dan aksi MCP serta web meminta persetujuan dulu (dokumentasi Antigravity). Di Windows, sandbox itu mati secara default.
Kuota adalah jebakannya. Tier Individual gratis hanya mencantumkan batas laju mingguan dasar, jauh dari 1.000 permintaan gratis per hari yang dulu diberikan Gemini CLI untuk akun pribadi. Kapasitas berbayar menumpang pada paket Google AI Pro dan Ultra, dan Google merombak tier-tier itu saat Antigravity diluncurkan, jadi baca batas terbaru di halaman paket Google sendiri sebelum berkomitmen. Pilih Antigravity CLI jika Anda hidup di Google Cloud, ingin model Claude tanpa kontrak Anthropic terpisah, atau ingin default sandbox yang ketat langsung dari awal. Lewati jika klien open source penting bagi Anda.
Copilot CLI, Cursor, OpenCode, dan lainnya
Copilot CLI adalah opsi paling diremehkan untuk perusahaan. Ia menjalankan model dari Anthropic, OpenAI, dan Google dalam satu tagihan, dan perangkatnya modern: plan mode, autopilot mode, agen bawaan untuk menjelajahi dan me-review kode, MCP, plugin, skills, hooks, serta awalan & yang menyerahkan tugas ke coding agent cloud milik GitHub (GitHub Changelog). Semua paket menyertakannya: Free, Pro $10 per bulan, Pro+ $39, dan Max $100, plus Business $19 dan Enterprise $39 per seat (GitHub Docs).
Titik lemahnya adalah izin akses. Copilot meminta Anda memercayai sebuah folder, lalu menyetujui tool satu per satu atau untuk seluruh sesi, dan dokumentasi GitHub sendiri memperingatkan bahwa menyetujui rm untuk satu sesi membuatnya bisa menghapus file apa pun di pohon direktori itu tanpa bertanya. Sandbox lokalnya bersifat opt-in lewat /sandbox enable, dan flag --yolo mematikan semua pemeriksaan.
Berikut perbandingan empat nama terbesar berdasarkan atribut yang bisa Anda periksa di dokumentasi dan lisensinya, bukan di materi pemasarannya.
Hanya Codex yang memadukan klien open-source dengan sandbox yang aktif default di semua platform. Antigravity dan Copilot adalah dua yang bisa memadukan model dari berbagai lab tanpa konfigurasi tambahan. Soal ekstensibilitas, keempatnya sudah konvergen, karena semuanya mendukung hooks, skills, dan plugin.
Cursor membawa agen editornya ke terminal dengan mode agent, plan, dan ask, mode print untuk skrip dan CI, serta handoff & yang sama ke agen cloud. Ini tambahan yang jelas jika tim Anda sudah membayar Cursor (Individual mulai $20 per bulan, Teams $40 per pengguna), dan sulit dijual jika belum.
OpenCode adalah bintang open-source: berlisensi MIT, melampaui 211.000 bintang GitHub, dan terhubung ke lebih dari 75 penyedia model termasuk model lokal. Anda bisa masuk dengan akun GitHub Copilot atau ChatGPT Plus atau Pro alih-alih membayar dua kali. Namun waspadai default-nya. OpenCode membiarkan agen mengedit file dan menjalankan perintah shell tanpa bertanya kecuali Anda menulis aturan, tidak punya sandbox OS, dan pengaman bawaannya hanya mencakup file .env, path di luar proyek, dan agen yang terjebak mengulang dirinya sendiri (dokumentasi OpenCode).
Tiga lagi layak disebut sekilas. Amp meneruskan biaya model dengan harga penyedia tanpa markup untuk individu, memadukan GPT-5.6 dan Claude Fable 5.1 di balik layar, dan punya tier gratis serta paket $20. Warp kini menjadi terminal agentic berlisensi AGPL dengan agennya sendiri, berharga dari gratis hingga Build $20 dan Max $200, dan mengklaim bisa bekerja dengan coding agent apa pun yang mendukung MCP. Aider masih punya cerita git paling rapi, meng-commit setiap perubahan dengan pesan yang bisa Anda diff dan batalkan, tetapi laju rilisnya macet, jadi pastikan ia mendukung model yang Anda inginkan sebelum berkomitmen. Untuk gambaran lebih luas, papan AI coding assistants dan papan AI agents kami melacak peringkat saat berubah.
Benchmark menempatkan Claude Code dan Codex dalam posisi imbang
Tolok ukur publik paling berguna untuk kategori ini adalah Terminal-Bench, diselenggarakan oleh Stanford, Harbor, dan Laude Institute, yang menilai pasangan agen dan model pada tugas sulit di dalam terminal sungguhan. Di leaderboard 4.0 saat ini, Codex dengan GPT-6 Astra pada reasoning effort maksimum memimpin dengan 58,2%, dan Claude Code dengan Fable 5.1 pada effort maksimum berada di 57,9% (Terminal-Bench). Tiap entri menjalankan 330 percobaan dengan interval kepercayaan sekitar tiga poin ke kedua arah, jadi anggap saja seri.
Cerita yang lebih besar adalah dial effort. Bandingkan setiap pasangan pada pengaturan reasoning terendah dan tertingginya.
Turun dari effort maksimum ke rendah membuat Codex dengan Astra kehilangan kurang dari 8 poin dan Claude Code dengan Fable 5.1 hampir 15. Claude Code dengan Opus 5 yang lebih lama turun 17. Pengaturan yang Anda biarkan default bisa sama pentingnya dengan merek di kotaknya.
Biaya menceritakan kisah kedua. Leaderboard mencatat berapa yang dihabiskan tiap run: $3.267 untuk Codex dengan Astra pada effort maksimum dibandingkan $6.244 untuk Claude Code dengan Fable 5.1, kira-kira $9,90 versus $18,90 per tugas untuk skor yang sama. Itu adalah biaya tarif API untuk tugas panjang dan sulit, bukan yang dibayar pelanggan paket. Tidak ada agen Google sama sekali di papan ini, jadi entri terbaik yang menjalankan model Gemini adalah agen pihak ketiga dengan Gemini 3.8 Flash di 19,1%. Klaim vendor, seperti pernyataan Anthropic bahwa Sonnet 5.5 mengungguli Opus 5.5 di agentic coding, berasal dari pengujian vendor sendiri.
Mode izin, dari read-only hingga full auto
Setiap tool kini menawarkan tangga otonomi yang sama dengan nama berbeda. Anak tangga yang Anda pilih menentukan seberapa sering Anda diinterupsi, dan seberapa besar kerusakan yang bisa ditimbulkan instruksi buruk (atau prompt injection yang tersembunyi di README).

Sandboxed auto adalah default harian yang tepat. Agen mengedit dan menjalankan perintah dengan bebas di dalam proyek, tanpa jaringan dan tanpa akses ke direktori home Anda. Reviewer auto mengurangi prompt lebih jauh tetapi mempercayakan keputusan pada sebuah model. Full access sebaiknya hanya di container dan VM sekali pakai, yang juga dikatakan dokumentasi Anthropic soal bypassPermissions. Berikut nama tiap anak tangga di keempat tool utama.
| Tingkat | Claude Code | Codex CLI | Antigravity CLI | Copilot CLI |
|---|---|---|---|---|
| Read only | plan | read-only | Plan mode | Plan mode |
| Ask first | default (Manual) | Granular approvals | Request Review | Prompt per tool |
| Auto edits | acceptEdits | Tidak ada | Accept-Edits | Setujui tool untuk sesi |
| Sandboxed auto | /sandbox auto-allow | Auto (default di repo git) | Preset default | /sandbox enable |
| Reviewer auto | auto (default) | Auto-review (opt-in) | Tidak ada | Tidak ada |
| Full access | bypassPermissions | danger-full-access | Turbo | --yolo |
Dua default menonjol. Codex dan Antigravity memulai Anda di dalam sandbox, sementara Claude Code dan Copilot memulai Anda di mode yang mengandalkan prompt atau tinjauan model. Jika Anda memakai Claude Code, mengaktifkan sandbox adalah perubahan pengaturan paling berguna yang bisa Anda lakukan.
Paket vs API key: berapa yang akan Anda bayar
Setiap vendor menjual dua jalur masuk. Paket bulanan tetap membatasi tagihan Anda tetapi mengukur pemakaian dengan batas lima jam dan mingguan yang dijelaskan vendor sebagai kelipatan, bukan jumlah token. API key menagih setiap token dengan harga list tanpa batas atas.
| Agen | Paket awal | Tier lebih tinggi | Tim |
|---|---|---|---|
| Claude Code | Claude Pro, $20/bln ($17 jika dibayar tahunan) | Max 5x $100, Max 20x $200 | Seat Team $25 atau $125/bln; Enterprise seat $20 plus pemakaian tarif API |
| Codex | ChatGPT Plus, $20/bln (CLI tidak tersedia di Free atau Go) | Pro $100, $200, atau $500 | Business $20/pengguna (tahunan) |
| Copilot CLI | Pro $10/bln (Free punya jatah kecil) | Pro+ $39, Max $100 | Business $19, Enterprise $39 per seat |
| Antigravity CLI | Tier Individual gratis | Google AI Pro dan Ultra | Business mulai $30/seat via Google Cloud |
| Cursor CLI | Individual $20/bln | Tier individual lebih tinggi | Teams $40/pengguna |
Harga diambil dari halaman harga tiap vendor, termasuk milik Anthropic. Jika hitungan paket membingungkan, panduan kami tentang model harga tool AI menjelaskan kredit, seat, dan token.
Jalur API paling penting bagi pengguna berat dan CI. Anthropic menagih $4 per juta token input dan $20 per juta token output untuk Opus 5.5, serta $2 dan $10 untuk Sonnet 5.5. OpenAI menagih $2 dan $10 untuk GPT-6.1 Sol serta $10 dan $50 untuk GPT-6 Astra (harga OpenAI). Caching menggeser tagihan lebih besar daripada tarif utamanya, karena loop agen terus-menerus mengirim ulang konteks yang sama. Dalam run Terminal-Bench di atas, sekitar 96% token input Codex adalah cache read, yang ditagih OpenAI sepersepuluh dari tarif input Astra.
Masukkan angka Anda sendiri di bawah. Nilai default menyalin komposisi token salah satu tugas benchmark itu (sekitar $10 per tugas di Astra), dan run benchmark panjang serta sulit, jadi ganti dengan angka dari dasbor pemakaian Anda sendiri sebelum menyusun anggaran.
Pada nilai default, developer yang menjalankan 40 tugas semacam itu per bulan di Opus 5.5 akan menghabiskan sekitar $126 lewat API key, sehingga Claude Pro dan Max 5x sama-sama lebih murah jika batasnya mencukupi. Ganti model ke GPT-6 Astra dan beban kerja yang sama menjadi sekitar $401. Selisih itulah alasan pengguna Codex sebaiknya menyimpan flagship untuk masalah yang benar-benar membutuhkannya dan membiarkan GPT-6.1 Sol mengerjakan sisanya.
Cara memilih satu dan meluncurkannya dengan aman
Mulailah dari tempat kode dan kontrak Anda berada, lalu biarkan default keamanan menjadi penentu saat seri.
- Jika tim Anda sudah membayar ChatGPT, atau Anda ingin klien open-source dengan sandbox aktif secara default, mulai dengan Codex.
- Jika Anda menginginkan kustomisasi terdalam dan nyaman dengan model Claude, pilih Claude Code dan aktifkan sandbox-nya sebelum hal lain.
- Jika organisasi Anda berjalan di GitHub dan ingin model Claude, GPT, dan Gemini dalam satu anggaran dengan batas per pengguna, Copilot CLI paling minim hambatan.
- Perusahaan yang berbasis Google Cloud sebaiknya mencoba Antigravity CLI.
- Pilih OpenCode jika Anda butuh open source dari ujung ke ujung atau model lokal, dan terima bahwa Anda akan menulis sendiri pengamannya.
Masih bimbang? Timbang apa yang penting bagi Anda di bawah ini. Skornya adalah pembacaan editorial kami atas dokumentasi dan harga tiap vendor, bukan hasil pengujian.
Dengan keamanan diberi bobot tertinggi, Codex memimpin dan Copilot CLI kedua. Naikkan admin tim dan batas pengeluaran ke posisi teratas, maka Copilot unggul tipis, sedangkan memaksimalkan pilihan model dan open source menempatkan OpenCode di posisi pertama. Claude Code naik setiap kali ekstensibilitas lebih penting daripada default yang aman.
Peluncuran tim yang aman
- Jalankan pilot satu agen dengan beberapa developer di satu repositori, sehingga Anda membandingkan hasil, bukan tool.
- Tetapkan default izin secara terpusat. Di Claude Code, artinya managed settings dengan sandbox aktif dan aturan deny untuk push dan deploy, dan admin bisa mematikan auto mode untuk seluruh organisasi. Di Codex, pertahankan workspace-write dengan jaringan mati dan sisakan danger-full-access untuk runner CI sekali pakai.
- Jauhkan rahasia dari jangkauan. Jangan jalankan agen di shell yang menyimpan kredensial produksi, tolak pembacaan ~/.ssh, file kredensial cloud, dan .env, dan ingat bahwa hooks Claude Code dan MCP server lokal berjalan di luar sandbox-nya dengan akses penuh Anda.
- Review diff agen seperti pull request dari karyawan baru. Agen bisa membuka branch dan PR, tetapi manusia yang me-merge. Peninjau otomatis seperti Claude Code Security Review atau code review Codex adalah pemeriksaan kedua, bukan pengganti.
- Batasi pengeluaran sebelum Anda meningkatkan skala. Copilot mendukung anggaran per pengguna dan per cost center, dan penggunaan tambahannya aktif secara default, jadi batasi atau matikan. Paket Enterprise Anthropic menagih pemakaian dengan tarif API di atas seat, dan paket bisnis Antigravity menawarkan batas pengeluaran untuk pemakaian API dan langganan.
- Periksa plugin dan MCP server seperti dependensi. Dokumentasi Anthropic menyebut plugin yang Anda instal menjalankan kode dengan hak akses pengguna Anda, jadi allowlist marketplace alih-alih membiarkan semua orang menambahkan sendiri.
- Berikan CI allowlist yang tepat. Mode dontAsk Claude Code dengan tool bernama, atau Codex di sandbox read-only atau workspace-write, menjaga run tanpa pengawasan tetap dapat diprediksi.
Tim yang sudah menjalankan agen di bagian bisnis lain akan mengenali sebagian besar hal ini dari tulisan kami tentang AI agent di produksi. Untuk tinjauan lebih luas tentang tool yang berfokus pada editor, lihat rangkuman AI coding assistants kami.
Pertanyaan yang sering diajukan
Apakah Gemini CLI masih tersedia?
Ya, untuk organisasi dengan Gemini Code Assist Standard atau Enterprise dan untuk developer yang memakai Gemini API key berbayar. Pengguna Free, Google AI Pro, dan Ultra dipindahkan ke Antigravity CLI. Kode Apache-2.0 tetap ada di GitHub, jadi siapa pun masih bisa mem-fork-nya.
Bisakah saya memakai Claude Code dengan langganan ChatGPT, atau Codex dengan paket Claude?
Tidak. Setiap paket hanya mencakup agen dari vendornya sendiri. Jika Anda ingin satu klien lintas vendor, OpenCode bisa masuk dengan akun ChatGPT Plus atau Pro dan GitHub Copilot, sementara Copilot CLI dan Antigravity CLI menggabungkan model dari beberapa lab dalam satu langganan.
Agen terminal mana yang paling murah untuk developer solo?
Copilot Pro seharga $10 per bulan adalah jalur berbayar termurah. ChatGPT Go seharga $8 tidak menyertakan Codex CLI, yang baru ada di Plus. Copilot Free dan tier gratis Antigravity tidak dipungut biaya tetapi dengan jatah kecil. Untuk pemakaian lebih berat, bandingkan Claude Pro dan ChatGPT Plus seharga $20 dengan proyeksi tagihan API Anda.
Apakah saya perlu sandbox jika saya mereview setiap diff?
Ya. Review diff menangkap kode yang buruk, tetapi terjadi setelah agen sudah menjalankan perintah. Sandbox membatasi apa yang bisa disentuh perintah itu saat berjalan, termasuk panggilan jaringan yang bisa mengirim rahasia ke tempat yang tidak semestinya.
Apakah Terminal-Bench cara yang andal untuk memilih?
Ini tolok ukur publik terbaik untuk pekerjaan terminal, tetapi ia mengukur pasangan agen dan model pada pengaturan effort tetap di tugas sulit. Selisih beberapa poin berada di dalam interval kepercayaan, jadi anggap itu seri dan jalankan pilot singkat di repositori Anda sendiri.