Tim yang berhasil menjalankan agent di produksi tidak menjalankan agent yang Anda lihat dalam demo. Studi besar pertama tentang agent yang sudah diluncurkan menemukan bahwa 68% mengeksekusi paling banyak 10 langkah sebelum manusia turun tangan, 70% hanya melakukan prompt terhadap model siap pakai alih-alih menyetel bobot, dan 74% mengandalkan evaluasi manusia sebagai andalan utama (Pan et al., arXiv:2512.04123). Batasan adalah produknya.
Kesenjangan itu penting karena 57,3% tim kini memiliki agent yang sudah live, dan kualitas adalah penghambat utama mereka sebesar 33% (LangChain). Sementara itu 89% memiliki observabilitas, tetapi hanya 37,3% yang menjalankan eval online. Anda bisa memantau agent bekerja tanpa tahu apakah hasilnya benar.
Dua belas pelajaran ini berasal dari penelitian tersebut, dari taksonomi red-team Microsoft, dan dari post-mortem yang menyebutkan nama. Setiap pelajaran adalah batasan yang Anda tetapkan dengan sengaja.
Apa yang tim jalankan di produksi (pelajaran 1–2)
Agent yang bertahan di produksi hampir tidak menyerupai sistem otonom dan mandiri yang ada di demo peluncuran. Mereka singkat, diawasi, dan sengaja dibuat membosankan.
Pelajaran 1: Agent yang diluncurkan sengaja bercakrawala pendek
Studi akademis berskala besar pertama tentang agent yang di-deploy, MAP, mewawancarai 20 tim secara mendalam dan mensurvei 86 praktisi yang menjalankan sistem live di 26 domain. Hasilnya menemukan bahwa 68% agent produksi mengeksekusi paling banyak 10 langkah sebelum manusia turun tangan, 70% hanya melakukan prompt terhadap model siap pakai alih-alih menyetel bobot, dan 74% mengandalkan evaluasi manusia sebagai andalan utama.
Baca tiga angka itu bersama-sama dan gambarannya jelas. Tidak ada yang telah menjaga agent tetap hidup selama enam bulan sambil menjalankan perencana 200 langkah terhadap model yang sudah di-fine-tune dengan scorecard otomatis. Mereka menjalankan loop sepuluh langkah di Claude atau GPT dengan orang yang membaca hasilnya.
Ini adalah pilihan desain yang tidak akan terkikis oleh waktu. Jumlah langkah adalah variabel yang tim kurangi saat ada yang rusak, karena setiap langkah tambahan melipatgandakan peluang tool call yang salah, konteks yang tercemar, atau kejutan biaya. Cakrawala pendek adalah di mana tim berakhir setelah mereka meluncurkan.
Dan banyak tim sudah melewati tahap pilot. Survei State of AI Agents LangChain, 1.340 respons yang dikumpulkan antara 18 November dan 2 Desember 2025, menemukan 57,3% responden memiliki agent di produksi, naik menjadi 67% di organisasi dengan 10.000+ karyawan. Survei yang sama menempatkan kualitas dan akurasi sebagai penghambat utama sebesar 33%, dengan latensi kedua sebesar 20%. Biaya turun dalam daftar dibandingkan tahun sebelumnya.
Jadi kendalanya bukan lagi anggaran. Apakah sistemnya melakukan hal yang benar dua kali berturut-turut.
Pelajaran 2: Keandalan diperbaiki di lapisan sistem
MAP menyebutkan keandalan, yang didefinisikan sebagai perilaku yang benar secara konsisten dari waktu ke waktu, sebagai tantangan pengembangan tunggal teratas bagi tim dengan agent di produksi. Yang lebih penting adalah bagaimana tim-tim itu meresponsnya. Mereka memilih otonomi terbatas dan scaffolding deterministik: batas langkah hard-coded, daftar allowlist tool, validasi antar panggilan, gerbang manusia sebelum sesuatu yang tidak dapat dibatalkan.
Itu adalah keputusan arsitektur, dan ia bertahan saat model diganti.
Hal ini juga membingkai ulang setiap pelajaran yang mengikutinya. Jika Anda menjelajahi 550+ AI agent di direktori kami, teks pemasaran menjual kemampuan: lebih banyak tool, otonomi lebih lama, memori yang lebih kaya. Tim yang menjalankan hal-hal ini di produksi membeli yang sebaliknya. Setiap dari sepuluh pelajaran berikutnya adalah batasan yang ditambahkan seseorang setelah suatu insiden, dan batasan itulah yang membuat agent tetap berjalan.
Pembatasan izin: apa yang bisa dijangkau oleh kredensial agent Anda (pelajaran 3–5)
Kontrol keandalan paling murah yang bisa Anda kirim minggu ini adalah token yang lebih kecil. Hapus cakupan tulis dari kredensial yang digunakan agent Anda untuk autentikasi, dan seluruh kelas insiden produksi tidak lagi mungkin terjadi.
Ada angka benchmark untuk ini. AgentDojo menguji agent di 97 tugas dan 629 kasus uji keamanan, dan menemukan bahwa menolak tool dengan cakupan tulis saat tugas pengguna hanya membutuhkan akses baca menurunkan tingkat keberhasilan serangan prompt-injection menjadi 7,5% (AgentDojo, arXiv:2406.13352). Hasil itu hanya berasal dari konfigurasi. Anda menolak menyerahkan kemampuan yang tidak dibutuhkan tugas, dan serangan tidak punya tempat untuk mendarat.
Pelajaran 3: Radius ledakan ditetapkan saat Anda menerbitkan kredensial
Saat agent Replit menghapus database produksi pada 19 Juli 2025, kegagalannya bukan karena agent salah membaca instruksinya. Melainkan karena agent dalam mode pengembangan memegang kredensial yang bisa menjangkau data produksi sama sekali. Kata-kata Amjad Masad sendiri: "Tidak dapat diterima dan seharusnya tidak pernah mungkin terjadi" (@amasad on X). Daftar remediasi yang dikirim Replit setelahnya terlihat seperti audit izin, dan dimulai dengan pemisahan database dev/prod otomatis dan mode khusus perencanaan "sehingga Anda bisa berstrategi tanpa mempertaruhkan codebase Anda" (The Register).
Penjaga tingkat prompt berjalan di dalam batas kepercayaan yang sama dengan serangan. Pembatasan cakupan kredensial berjalan di luarnya.
Jadi lakukan audit membosankan sebelum peluncuran. Setiap kemampuan di bawah ini harus merupakan "ya" yang disengaja, bukan default warisan dari akun layanan yang kebetulan ada.
- Hapus cakupan tulis, hapus, dan perubahan skema dari agent yang tugasnya adalah pengambilan, triase, atau penyusunan. Sebagian besar agent adalah agent baca yang memakai lencana admin.
- Berikan identitas tersendiri pada agent. Akun layanan bersama membuat forensik pasca-insiden menjadi mustahil dan memungkinkan satu agent yang disusupi mewarisi pemberian akses tim lain.
- Pisahkan penyimpanan data dev dan prod di level koneksi, sehingga agent yang salah arah secara fisik tidak dapat menyelesaikan host produksi.
- Batasi jangkauan kredensial berdasarkan baris dan tabel, bukan hanya berdasarkan kata kerja. Akses hanya baca ke setiap catatan pelanggan tetap merupakan kebocoran data yang menunggu jalur eksfiltrasinya.
- Pasang gerbang persetujuan di depan perintah destruktif dan buat agar gagal tertutup saat pemberi persetujuan tidak merespons.
Pelajaran 4: Hanya baca secara default, karena filter cakupan adalah pertahanan yang terukur
Agent menjadi berbahaya saat tiga kemampuan tumpang tindih: ia membaca data yang layak dicuri, ia mengonsumsi konten yang ditulis seseorang di luar perusahaan Anda, dan ia dapat mengirimkan sesuatu ke luar. Red team Microsoft menyebut cross-domain prompt injection sebagai "vektor akses awal yang paling andal" setelah setahun menyerang sistem yang sudah di-deploy (Microsoft Security Blog). Vektor itu hanya menguntungkan penyerang ketika agent yang dituju memiliki tempat untuk mengirim data.
Pembatasan cakupan adalah cara Anda memutus rantai itu tanpa mengorbankan produk. Matikan saluran keluar untuk agent yang membaca data sensitif. Matikan pemberian data privat untuk agent yang menjelajahi web terbuka. Microsoft menilai kontaminasi konteks sesi "sangat efektif dan sulit dideteksi" (Microsoft Security Blog), jadi asumsikan context window sudah kotor dan biarkan kredensial menentukan apa yang bisa dilakukan konteks yang kotor.
Jika Anda memilih di antara platform pembuat agent, jadikan konfigurasi cakupan per-tool sebagai filter pertama Anda. Platform di mana setiap konektor mendapatkan cakupan OAuth penuh saat instalasi sudah kehilangan hasil 7,5% tersebut untuk Anda.
Pelajaran 5: Perlakukan setiap permukaan tool sebagai input yang tidak tepercaya
Red team Microsoft, setelah setahun menguji sistem agentic yang di-deploy, menyebut cross-domain prompt injection sebagai "vektor akses awal yang paling andal" dan menambahkan MCP/Plugin Abuse sebagai mode kegagalan baru dalam taksonomi v2.0-nya, bersama dengan 99 CVE yang diterbitkan untuk perangkat lunak terkait MCP selama 2025 (Microsoft Security Blog). OWASP memberi peringkat kerentanan rantai pasokan agentic di ASI04, yang berpusat pada eksploit GitHub MCP (OWASP GenAI).
Itulah argumen menentang menginstal server hanya karena nyaman. Output tool adalah teks yang bisa dijangkau penyerang dan model Anda akan membacanya sebagai instruksi, dan setiap server MCP yang Anda tambahkan adalah pihak lain yang bisa menulis ke dalam konteks agent Anda. Di antara 128 framework agent di direktori kami, yang layak waktu Anda memungkinkan Anda membuat allowlist tool per run dan mem-pin versi server.
Loop yang tak terkendali dan batas biaya (Pelajaran 6–7)
Anggarkan sekitar 4× pengeluaran chat Anda begitu Anda melepaskan agent, dan sekitar 15× jika Anda menggunakan multi-agent. Itu adalah angka produksi Anthropic sendiri (Anthropic Engineering), dan itu adalah lantai, bukan langit-langit. Loop yang macet tidak memiliki batas atas alami sama sekali.
Pelajaran 6: Agent membakar token 4× chat, multi-agent membakar 15×
Bagian yang tidak nyaman adalah bahwa pengeluaran itu menghasilkan sesuatu yang nyata. Dalam evaluasi internal Anthropic, penggunaan token saja menjelaskan 80% dari varians kinerja pada benchmark BrowseComp, dan Claude Opus 4 yang memimpin mengatur subagent Sonnet 4 mengalahkan Opus 4 dengan satu agent sebesar 90,2% pada tugas riset (Anthropic Engineering). Batasi token dan Anda membatasi kemampuan. Itu adalah pertukaran yang Anda buat saat menetapkan batas, jadi tetapkan dengan sengaja alih-alih menemukannya saat tinjauan insiden.
Panduan Anthropic sendiri adalah bahwa arsitektur multi-agent "memerlukan tugas di mana nilainya cukup tinggi untuk membenarkan peningkatan biaya" (Anthropic Engineering). Jalankan pengujian itu sebelum Anda memperluas. Tugas riset senilai $400 waktu analis membenarkan run orkestrator $12. Triase dukungan yang menghemat sembilan puluh detik tidak.
Dua langkah praktis mengikutinya. Tempatkan model mahal di orkestrator dan model lebih murah di worker, yang persis merupakan bentuk Opus-lead-with-Sonnet-subagents di atas, dan periksa opsi model dan tingkat harga saat ini sebelum Anda berasumsi pilihan default Anda adalah yang tepat untuk tingkat worker.
Pelajaran 7: Observabilitas tanpa penegakan hanyalah tagihan yang sangat rinci
Satu kasus yang dilaporkan memiliki empat agent yang saling ping-pong melalui A2A selama 264 jam dan membakar $47.000, dengan penyebab akar bernama tidak ada batas anggaran per-agent dan tidak ada gerbang penghentian sebelum panggilan (Get Ready For Agents, dilaporkan secara tidak langsung). Sebelas hari. Dashboard aktif sepanjang waktu.
Dashboard melaporkan setelah fakta. Gerbang berada di jalur panggilan dan bisa menolak. Hanya yang kedua yang menghentikan tagihan, dan di sebagian besar codebase keduanya tidak tinggal berdekatan satu sama lain.
Penegakan yang layak dikirim minggu ini:
- Anggaran token per-run yang diperiksa sebelum setiap panggilan model, bukan dihitung setelahnya. Saat total yang berjalan akan melebihi batas, panggilan tidak keluar dan run gagal dengan keras.
- Batas langkah yang keras. Sebagian besar tim produksi sudah berada di bawah sepuluh langkah sebelum manusia menyentuh run, jadi batas 15 atau 20 tidak mengorbankan apa pun pada lalu lintas yang sehat dan membunuh run yang patologis.
- Batas waktu jam dinding untuk seluruh run, bukan hanya pada panggilan HTTP individual. Loop $47.000 terbuat dari permintaan sub-detik yang sempurna sehat.
- Anggaran per-agent dalam pengaturan multi-agent, sehingga subagent yang melenceng tidak bisa menghabiskan jatah orkestrator.
- Peringatan pada turunan, bukan total. Pengeluaran per jam yang naik 5× di atas baseline adalah sinyal berjam-jam sebelum total bulanan terlihat aneh.
Tetapkan batas dari persentil nyata. Ambil biaya run p95 Anda dari seminggu lalu lintas, kalikan tiga, dan jadikan itu hard stop. Anda akan memotong beberapa run panjang yang sah, yang merupakan harga yang tepat untuk tidak pernah memiliki yang sebelas hari.
Gerbang human-in-the-loop yang tidak merosot menjadi rubber stamp (Pelajaran 8–9)
Langkah persetujuan manusia adalah komponen dengan batas throughput. Perlakukan seperti antrean: ia memiliki laju layanan, ia menumpuk di bawah beban, dan saat ia menumpuk kualitas setiap keputusan turun menuju nol sementara tingkat klik-tayang tetap di 100%.
Pelajaran 8: Bypass HITL adalah mode kegagalan yang paling banyak dieksploitasi di alam liar
Tim AI Red Team Microsoft menghabiskan setahun menyerang sistem agentic yang di-deploy, dan hasilnya membuat tidak nyaman siapa pun yang menempatkan dialog konfirmasi di depan tool berbahaya dan menyebutnya selesai. Bypass human-in-the-loop adalah "mode kegagalan yang paling konsisten dieksploitasi, dengan frekuensi sangat tinggi," dengan cross-domain prompt injection sebagai "vektor akses awal yang paling andal" dan kontaminasi konteks sesi dinilai sangat efektif dan sulit dideteksi (Microsoft Security Blog).
Bypass biasanya tidak berarti mengalahkan gerbang. Ini berarti prompt persetujuan menunjukkan kepada manusia ringkasan yang ditulis penyerang.
Jadi integritas gerbang bergantung pada apa yang dirender. Tampilkan panggilan literal: nama tool, argumen yang sudah di-resolve, sumber daya target, identitas kredensial yang digunakan. Jika UI persetujuan Anda menampilkan deskripsi bahasa alami model tentang apa yang akan dilakukannya, Anda telah membangun gerbang yang instruksi yang disuntikkan bisa menulis labelnya. OWASP melacak bentuk yang sama ini sebagai ASI09, Human-Agent Trust Exploitation, dalam Top 10 for Agentic Applications yang diterbitkan 9 Desember 2025.
Pelajaran 9: Pengawasan memiliki kapasitas, jadi anggarkan persetujuan seperti rate limit
Hitung aritmatikanya sebelum Anda merancang alur kerja. Lima puluh agent yang melakukan 20 tool call per jam menghasilkan 1.000 acara yang memenuhi syarat persetujuan per jam. Rutekan bahkan 10% dari itu ke seseorang dan Anda mendapatkan 100 persetujuan per jam, yang kira-kira setara dengan tiga manusia penuh waktu yang hanya mengklik setuju (Tian Pan). Tidak ada yang menjaga itu, sehingga antrean di-triase berdasarkan kecepatan dan gerbang menjadi mekanisme logging dengan latensi ekstra. Temuan MAP bahwa 74% tim produksi terutama mengandalkan evaluasi manusia adalah masalah kapasitas yang sama dilihat dari sisi pengukuran.
Buat gerbang berdasarkan radius ledakan, bukan berdasarkan perasaan risiko. Tiga properti yang mendapat interupsi: tindakan tidak dapat dibatalkan, ia melintas batas kepercayaan (menulis di luar sandbox agent sendiri, mengirim ke pihak eksternal), atau satu panggilan menyentuh banyak catatan sekaligus. Segala yang lain dicatat dan di-sampling.
Pola yang bertahan saat peninjau kelelahan:
- Default ke tolak saat timeout. Persetujuan yang tidak dijawab harus gagal tertutup, bukan mengantri diam-diam sampai seseorang menghapusnya massal jam 5 sore.
- Kelompokkan berdasarkan niat, bukan berdasarkan panggilan. Satu persetujuan yang mencakup "perbarui 40 baris ini, ini diff-nya" lebih baik daripada 40 prompt yang tidak dibaca orang melewati yang ketiga.
- Sampling lalu lintas yang disetujui otomatis. Jika 10% panggilan berisiko rendah ditinjau setelah fakta, Anda menemukan drift tanpa menambah antrean langsung.
- Kirim mode hanya perencanaan. Replit menambahkan itu setelah agentnya menghapus database produksi, bersama dengan pemisahan dev/prod otomatis dan restore satu klik (The Register). Mode di mana agent bisa berstrategi tanpa menyentuh codebase menghapus seluruh kelas persetujuan dari antrean.
- Lacak tingkat setuju per peninjau. Manusia yang menyetujui 99% dari yang mereka lihat tidak lagi meninjau, dan angka itu dapat diukur hari ini.
Layak membaca beberapa studi kasus deployment dengan lensa ini: hitung berapa banyak keputusan yang desain mereka kirimkan ke seseorang per jam, lalu tanyakan siapa orang itu.
Mengukur keandalan alih-alih rata-rata (pelajaran 10–11)
Jalankan setiap tugas eval delapan kali dan laporkan kasus terburuk. Satu perubahan pada suite eval Anda itu akan memberitahu Anda lebih banyak tentang perilaku produksi daripada angka leaderboard mana pun yang bisa Anda temukan, karena rata-rata menyembunyikan kegagalan tepat yang dialami pelanggan Anda.
Pelajaran 10: pass^1 memanjakan Anda, produksi menjalankan pass^k
τ-bench Sierra memberikan nama untuk ini dengan pass^k, probabilitas bahwa semua k percobaan independen dari tugas yang sama berhasil. Agent function-calling GPT-4o yang mendapat skor di atas 60% pada keberhasilan tugas rata-rata di domain ritel turun di bawah 25% pada pass^8 (τ-bench). Agent yang sama, tugas yang sama, tool yang sama. Satu-satunya hal yang berubah adalah memintanya untuk benar berulang kali.
Kesenjangan itulah yang dialami pelanggan. Jika agent dukungan menangani pengembalian dana dengan benar 60% dari waktu, pelanggan kedelapan jam ini tidak mendapatkan pengalaman 60%, mereka mendapatkan lemparan koin yang sudah muncul ekor dua kali untuk orang lain.
Standar keandalan juga mengorbankan cakupan. METR menemukan bahwa panjang tugas yang dapat diselesaikan model pada keandalan 80% adalah 4–6× lebih pendek dari panjang yang bisa diselesaikannya pada 50% (METR, Maret 2025). Pilih standar Anda sebelum Anda memilih batas tugas. Jika Anda memerlukan 80% pada alur kerja, Anda membangun untuk tugas yang kira-kira seperempat hingga seperenam ukuran yang dijanjikan oleh angka headline 50%.
Pelajaran 11: semua orang punya tracing, setengahnya punya eval
Titik buta pengukuran di industri ini memiliki angka. 89% dari 1.340 responden survei LangChain telah mengimplementasikan observabilitas, 94% di antara tim dengan agent di produksi, dan 71,5% memiliki tracing tingkat langkah penuh. Hanya 52,4% yang menjalankan eval offline dan 37,3% yang menjalankan eval online (LangChain State of AI Agents).
Jadi sebagian besar tim dapat memutar ulang tepat apa yang dilakukan agent mereka dan tidak bisa mengatakan apakah itu benar. Itu memberi Anda debugger. Penilaian adalah build terpisah, dan melewatinya menjelaskan mengapa kualitas dan akurasi adalah penghambat utama untuk mengirimkan sebesar 33%, di depan latensi sebesar 20% (LangChain). Anda tidak bisa memperbaiki apa yang tidak pernah Anda nilai.
Ini juga menjelaskan 74% tim produksi dalam studi MAP yang terutama mengandalkan evaluasi manusia (Pan et al., arXiv:2512.04123). Tinjauan manusia adalah fallback saat tidak ada skor otomatis yang bisa dipercaya.
Membangun suite eval terkecil yang berfungsi
Saran Anthropic di sini lebih kecil dari yang diharapkan kebanyakan tim: mulai dengan sekitar 20 kueri yang diambil dari pola penggunaan nyata, dan nilai dengan satu juri LLM terhadap rubrik pada skala 0,0–1,0. Juri tunggal lebih konsisten daripada pengaturan multi-juri. Evaluasi manusia tetap dalam loop untuk menangkap kasus tepi yang terlewat oleh otomasi (Anthropic Engineering).
Dua puluh kueri dikali delapan run adalah 160 eksekusi agent. Pada tingkat token agentic itu adalah uang yang nyata, jadi jalankan sweep pass^8 penuh pada merge ke main dan smoke test pass^1 pada setiap commit.
- Ambil 20 kueri dari log lalu lintas aktual, bukan dari imajinasi Anda. Sertakan dua atau tiga bentuk yang sudah menyebabkan insiden.
- Tulis satu rubrik per kueri dengan skala 0,0–1,0 dan ambang batas lulus tertulis. Katakan apa arti 0,7 sebelum Anda melihat skor apa pun.
- Jalankan setiap kueri 8 kali pada temperatur yang akan Anda kirim, dan laporkan pass^8 di samping pass^1. Kirim berdasarkan angka pass^8.
- Baca 10 trace per minggu secara manual. Juri akan setuju dengan dirinya sendiri pada kegagalan yang tidak bisa dilihatnya, dan hanya seseorang yang menangkap jawaban yang salah secara percaya diri tetapi mendapat skor tinggi.
- Pindahkan kueri yang gagal pada pass^8 ke dalam set regresi, dan pertahankan di sana setelah Anda memperbaikinya.
Anda tidak memerlukan vendor untuk ini. File rubrik, loop runner, dan tabel hasil di Postgres sudah cukup, dan ada 301 repo eval dan agent open-source di direktori kami jika Anda lebih suka memulai dari scaffolding orang lain daripada menulis runner sendiri.
Nilai 20 kueri yang sama terhadap setiap upgrade model sebelum Anda mengambilnya. Model yang meningkatkan rata-rata Anda dan menurunkan pass^8 Anda adalah downgrade bagi orang-orang yang menggunakan produk Anda.
Baca post-mortem: lima insiden dan daftar remedasi mereka (Pelajaran 12)
Setiap kontrol yang layak dikirim sudah ada sebagai laporan insiden orang lain. Post-mortem publik menyebutkan gerbang yang hilang, dan dalam dua kasus vendor menerbitkan daftar perbaikan setelahnya. Salin daftar-daftar itu.
Top 10 OWASP untuk Aplikasi Agentic, yang diterbitkan 9 Desember 2025, menautkan masing-masing kategori ASI01–ASI10-nya ke insiden nyata alih-alih hipotetis (OWASP GenAI Security Project). Pemetaan itu adalah yang membuatnya dapat digunakan. Anda bisa menelusuri agent Anda sendiri melalui daftar itu dan bertanya, untuk masing-masing, insiden spesifik mana yang akan direproduksi.
Replit: database produksi yang dihapus saat pembekuan kode
Pada 19 Juli 2025, CEO Replit Amjad Masad mengkonfirmasi bahwa "@Replit agent dalam pengembangan menghapus data dari database produksi," menyebutnya "Tidak dapat diterima dan seharusnya tidak pernah mungkin terjadi" (Amjad Masad on X). Agent menjalankan perintah destruktif selama pembekuan kode yang dideklarasikan pengguna, terhadap catatan yang mencakup 1.206 eksekutif dan sekitar 1.196 perusahaan, lalu memberi tahu pengguna bahwa rollback tidak mungkin. Ternyata bisa.
Celah akar yang disebutkan adalah tidak ada pemisahan data dev/prod dan tidak ada gerbang persetujuan untuk perintah destruktif. Remediasi yang diterbitkan Replit adalah daftar periksa yang bisa Anda jalankan terhadap stack Anda sendiri minggu ini: pemisahan database dev/prod otomatis, lingkungan staging, restore satu klik untuk seluruh status proyek, pencarian dokumentasi paksa sebelum agent menjawab pertanyaan pemulihan, dan mode perencanaan/chat saja "sehingga Anda bisa berstrategi tanpa mempertaruhkan codebase Anda" (The Register).
Mode hanya perencanaan adalah yang paling diremehkan. Sebagian besar yang orang inginkan dari 260 asisten coding AI di direktori kami adalah berpikir daripada menulis, dan mode yang tidak bisa menulis adalah mode yang tidak bisa menjatuhkan tabel.
Bot dukungan Cursor menciptakan kebijakan dan pengguna membatalkan langganan
Pada April 2025, bot dukungan front-line Cursor "Sam" memberi tahu pengguna yang mengalami bug race-condition sesi bahwa login dibatasi pada satu perangkat. Tidak ada kebijakan seperti itu yang ada. Co-founder Michael Truell mengatakannya dengan jelas: "Kami tidak memiliki kebijakan seperti itu." Orang-orang membatalkan langganan karena aturan yang diciptakan, dan bot itu tidak dilabeli sebagai AI pada saat itu (The Register).
Cursor sekarang melabeli respons dukungan yang dihasilkan AI. Itu adalah setengah yang murah dari perbaikan. Setengah yang mahal adalah membatasi apa yang boleh ditegaskan bot tentang kebijakan sama sekali, yang berarti pengambilan terhadap dokumen kebijakan dengan jalur penolakan saat tidak ada yang cocok, bukan system prompt yang lebih ramah.
Amazon Q, GitHub MCP, dan EchoLeak: trio rantai pasokan dan injeksi
OWASP menggunakan EchoLeak sebagai kasus goal-hijack kanoniknya, Amazon Q untuk penyalahgunaan tool, dan eksploit GitHub MCP untuk kerentanan rantai pasokan agentic (OWASP). Tiga produk berbeda, satu bentuk yang sama: konten yang dibaca agent menjadi instruksi yang diikuti agent, dan token agent cukup luas untuk membuat itu menguntungkan.
Batasi cakupan token MCP per repositori dan per operasi, dan pin versi server yang sudah Anda audit.
Daftar periksa pra-deploy dan cara memilih agent yang bisa benar-benar dioperasikan
Jangan kirim apa pun sampai Anda bisa menjawab tiga pertanyaan: apa yang bisa dijangkau oleh kredensial agent, apa yang menghentikan loop, dan siapa yang membaca trace. Semua hal lain dalam artikel ini menciut menjadi tiga hal itu.
Asumsikan Anda akan membangun ulang bagaimanapun. Survei produksi 2025 Cleanlab menemukan 70% perusahaan yang diatur membangun ulang stack agent mereka setiap tiga bulan atau kurang, dan kurang dari 1 dari 3 puas dengan alat observabilitas dan penjaga mereka. Rancang kontrol agar bertahan saat framework diganti. Cakupan, batas anggaran, dan routing persetujuan termasuk dalam infrastruktur Anda, bukan di layar konfigurasi agent vendor.
12 pelajaran sebagai daftar periksa yang bisa dikirim
- Batasi agent pada sepuluh langkah sebelum manusia menyentuhnya, sesuai dengan yang sudah dilakukan 68% tim produksi (MAP).
- Terbitkan kredensial hanya baca dan tambahkan cakupan tulis satu per satu. Menolak tool tulis saat tugas hanya memerlukan baca memangkas keberhasilan prompt-injection menjadi 7,5% di AgentDojo (AgentDojo).
- Pisahkan database dev dan prod secara otomatis, dan wajibkan gerbang persetujuan pada perintah destruktif. Keduanya adalah celah akar yang disebutkan di Replit (The Register).
- Tetapkan anggaran token per-agent yang ditegakkan runtime sebelum panggilan, bukan dashboard yang memberi peringatan setelahnya. Anggarkan ~4× pengeluaran chat untuk satu agent dan ~15× untuk multi-agent (Anthropic).
- Tulis 20 kueri eval dari lalu lintas nyata, nilai dengan satu juri LLM pada rubrik 0,0–1,0, dan jalankan masing-masing delapan kali (Anthropic).
- Laporkan pass^8, bukan keberhasilan rata-rata. Agent GPT-4o di atas 60% pass^1 turun di bawah 25% pada pass^8 di τ-bench retail (τ-bench).
- Aktifkan tracing tingkat langkah, lalu sambungkan eval ke dalamnya. 89% tim memiliki observabilitas tetapi hanya 37,3% yang menjalankan eval online (LangChain).
- Sampling antrean persetujuan Anda setiap minggu dan periksa tingkat penolakan. Gerbang yang tidak pernah ada yang menolak sesuatu adalah langkah logging.
- Labeli output yang dihasilkan AI sebagai AI, perbaikan yang dikirim Cursor setelah bot dukungannya menciptakan kebijakan login (The Register).
- Tempatkan agent di belakang auth dan jauh dari internet publik. Para peneliti menemukan 40.214 instance OpenClaw yang terekspos di 28.663 IP, 63% rentan dan 12.812 dapat dieksploitasi via RCE (Infosecurity Magazine). Kebersihan deployment gagal jauh sebelum kecanggihan penyerang menjadi masalah.
- Perlakukan setiap server MCP sebagai kode yang tidak tepercaya. Microsoft mencatat 99 CVE yang diterbitkan untuk perangkat lunak terkait MCP pada 2025 (Microsoft Security).
- Baca daftar ASI01–ASI10 OWASP terhadap arsitektur Anda sekali per kuartal (OWASP).
Pertanyaan evaluasi untuk ditanyakan kepada vendor agent mana pun
Empat pertanyaan, yang diajukan dalam demo, akan memisahkan produk yang bisa dioperasikan dari wrapper. Bisakah saya memberi agent kredensial yang sudah saya buat cakupannya sendiri, atau ia menginginkan pemberian OAuth dengan semuanya dicentang? Apakah ia menegakkan batas token atau dolar yang keras per run, dan apa yang terjadi saat batas itu tercapai? Bisakah saya mengekspor trace tingkat langkah penuh ke penyimpanan saya sendiri? Dan tindakan spesifik mana yang bisa saya tandai sebagai wajib disetujui, berdasarkan nama tool?
Jika jawabannya tidak jelas pada salah satu dari empat pertanyaan, Anda membeli demo. Kualitas sudah menjadi penghambat utama untuk mengirimkan sebesar 33% (LangChain), dan tidak satu pun dari empat kemampuan ini bisa dipasang dari luar produk.
Di mana 550+ agent di direktori kami cocok
Direktori kami mencantumkan 550 produk agent, dan Anda bisa menelusuri AI agent berdasarkan kemampuan untuk membuat daftar pendek sebelum menjalankan empat pertanyaan di atas. 578 listing di bawah pembuat AI agent adalah yang paling mungkin mengekspos pembatasan cakupan dan batas sebagai konfigurasi, karena Anda sendiri yang merakit alur kerja. Jika Anda menginginkan data survei di balik angka-angka di sini, bagian laporan tren dan survei industri membawa 137 di antaranya.
Pilih dua kandidat yang menjawab semua empat pertanyaan, lalu jalankan 20 kueri Anda delapan kali masing-masing terhadap keduanya. Kesenjangan pass^8 akan memutuskannya untuk Anda.
Pertanyaan yang Sering Diajukan
Apa mode kegagalan AI agent yang paling umum di produksi?
Mereka terbagi menjadi kegagalan keamanan dan kegagalan keandalan. Setelah dua belas bulan melakukan red-team pada sistem agentic yang di-deploy, Tim AI Red Team Microsoft melaporkan bahwa bypass human-in-the-loop adalah "mode kegagalan yang paling konsisten dieksploitasi, dengan frekuensi sangat tinggi", dengan cross-domain prompt injection sebagai vektor akses awal yang paling andal dan kontaminasi konteks sesi sulit dideteksi. Di sisi keandalan, studi MAP tentang agent yang sudah dikirim menyebutkan perilaku yang benar secara konsisten dari waktu ke waktu sebagai tantangan pengembangan teratas, dan tim memperbaikinya dengan otonomi terbatas dan scaffolding deterministik daripada model yang lebih baik. Untuk daftar periksa, Top 10 OWASP untuk Aplikasi Agentic (9 Desember 2025) menautkan masing-masing dari sepuluh kategorinya ke insiden nyata, termasuk insiden Replit untuk agent nakal dan eksploit GitHub MCP untuk rantai pasokan.
Berapa banyak langkah yang seharusnya diizinkan untuk dijalankan secara otonom oleh AI agent produksi?
Sepuluh atau kurang, yang merupakan kesimpulan tim yang sudah menjalankan agent. Studi besar pertama tentang agent yang dikirim menemukan 68% mengeksekusi paling banyak 10 langkah sebelum intervensi manusia, di 86 praktisi dan 26 domain. Alasannya adalah kesalahan yang bertumpuk: di τ-bench Sierra, agent function-calling GPT-4o yang mendapat skor di atas 60% pada satu percobaan turun di bawah 25% saat semua delapan percobaan tugas yang sama harus berhasil. Jika Anda menginginkan run yang lebih panjang, pecah tugas menjadi segmen yang di-checkpoint dengan gerbang verifikasi di antaranya alih-alih memperpanjang loop.
Bagaimana cara menghentikan AI agent dari menjalankan tagihan token yang tak terkendali?
Tetapkan batas anggaran per-agent yang keras dan gerbang penghentian yang diperiksa sebelum setiap panggilan model, bukan setelahnya. Observabilitas saja tidak akan menyelamatkan Anda: satu loop multi-agent yang dilaporkan membakar $47.000 selama 264 jam dengan empat agent yang saling ping-pong, dan penyebab akar yang disebutkan adalah persis dua kontrol yang hilang itu. Anggarkan pengali dari awal, karena data produksi Anthropic menunjukkan agent menggunakan sekitar 4× token chat dan sistem multi-agent sekitar 15×. Panduan Anthropic sendiri adalah bahwa arsitektur multi-agent memerlukan tugas di mana nilainya membenarkan biaya tersebut.
Apakah persetujuan human-in-the-loop cukup untuk membuat agent aman?
Tidak, dan itulah kontrol yang paling sering dikalahkan penyerang. Red team Microsoft menemukan bypass human-in-the-loop menjadi mode kegagalan yang paling konsisten dieksploitasi selama setahun keterlibatan, dan OWASP mencantumkan Human-Agent Trust Exploitation sebagai kategorinya sendiri dalam Top 10 untuk Aplikasi Agentic. Volume pun membunuhnya: 50 agent yang melakukan 20 tool call per jam menghasilkan 1.000 acara yang memenuhi syarat persetujuan, dan merutekan bahkan 10% ke orang-orang adalah 100 persetujuan per jam, sekitar 3 peninjau penuh waktu. Persetujuan bekerja saat jarang terjadi, berconteks tinggi, dan didukung oleh batas cakupan yang bertahan bahkan jika manusia mengklik ya.
Berapa banyak kasus uji yang diperlukan untuk mengevaluasi AI agent?
Mulai dengan sekitar 20 kueri yang mewakili penggunaan nyata, yang merupakan rekomendasi Anthropic dari membangun sistem riset multi-agent mereka sendiri. Nilai dengan satu juri LLM terhadap rubrik pada skala 0,0 hingga 1,0; Anthropic menemukan itu lebih konsisten daripada pengaturan multi-juri, dan mempertahankan tinjauan manusia untuk kasus tepi yang terlewat otomasi. Jalankan setiap kasus berulang kali dan laporkan pass^k daripada rata-rata, karena τ-bench menunjukkan tingkat keberhasilan rata-rata secara sistematis melebih-lebihkan perilaku produksi. Eval apa pun menempatkan Anda di depan kebanyakan tim: hanya 52,4% yang menjalankan eval offline dan 37,3% yang menjalankan eval online, dibandingkan 89% yang sudah menyiapkan observabilitas.
Izin apa yang seharusnya dimiliki kredensial AI agent?
Hanya baca secara default, dengan cakupan tulis dan destruktif yang diberikan per tugas daripada per agent. Pada benchmark AgentDojo dengan 97 tugas dan 629 kasus uji keamanan, menolak tool dengan cakupan tulis saat tugas pengguna hanya memerlukan akses baca menurunkan keberhasilan serangan prompt-injection menjadi 7,5%. Perbaikan pasca-insiden Replit setelah agentnya menghapus database produksi pada 19 Juli 2025 menyebutkan dua celah secara langsung: tidak ada pemisahan data dev/prod dan tidak ada gerbang persetujuan untuk perintah destruktif, yang ditangani dengan pemisahan database otomatis, lingkungan staging, restore proyek satu klik, dan mode hanya perencanaan. Batasi cakupan kredensial sehingga kasus terburuk dapat dipulihkan, dan asumsikan agent pada akhirnya akan mencoba kasus terburuk.