Deskripsi
Attest adalah kerangka pengujian komprehensif yang dirancang khusus untuk agen AI, tersedia untuk lingkungan Python dan TypeScript. Ini memungkinkan pengembang untuk menguji perilaku agen AI mereka secara ketat, memverifikasi keluaran mereka, interaksi alat, dan modifikasi yang mereka buat terhadap keadaan eksternal. Kerangka ini menekankan pemeriksaan deterministik, memungkinkan pengembang untuk menangkap jejak agen dan pertukaran model, kemudian memutarnya kembali terhadap kode nyata agen dalam lingkungan yang terkontrol.
Baca Selengkapnya
Alur kerja inti Attest melibatkan tiga langkah utama: menangkap, memutar ulang, dan gerbang. Pertama, `attest capture` merekam jejak agen dan interaksi model, menyunting data sensitif, dan menyusun kontrak perilaku awal. Kontrak ini mendefinisikan perilaku yang diharapkan, seperti panggilan alat tertentu atau perubahan pada 'keadaan dunia.' Selanjutnya, mekanisme `replay` menjalankan kode nyata agen terhadap respons model yang direkam melalui proxy lokal. Ini menghilangkan variabilitas panggilan model langsung, menjadikan pengujian konsisten dan dapat diulang dalam pipeline CI/CD. Akhirnya, langkah `gate` menegakkan kebijakan berdasarkan hasil pengujian, memblokir penggabungan jika kontrak kritis dilanggar atau perilaku yang tidak terduga terjadi.
Attest mendukung pendekatan berlapis untuk pengujian, dimulai dengan pemeriksaan deterministik gratis dan instan (validasi skema, pemeriksaan batasan, pemeriksaan jejak dan perilaku, pencocokan pola konten) sebelum beralih ke evaluasi berbasis model yang lebih intensif sumber daya seperti kesamaan embedding dan pernyataan LLM-sebagai-juri. Sistem berjenjang ini memungkinkan pengujian yang efisien, dengan pemeriksaan berbasis model hanya dipanggil saat diperlukan. Kerangka ini juga menawarkan fitur canggih seperti pengujian multi-agen, mode simulasi dengan alat tiruan dan kesalahan yang disemai, serta evaluasi berkelanjutan eksperimental untuk memantau penyimpangan skor.
Dengan sistem adaptor yang kuat, Attest terintegrasi dengan penyedia AI populer seperti OpenAI, Anthropic, Gemini, dan Ollama, serta kerangka kerja seperti LangChain, CrewAI, dan LlamaIndex. Ini berjalan dalam penguji unit standar seperti pytest untuk Python dan Vitest untuk TypeScript, memudahkan untuk dimasukkan ke dalam alur kerja pengembangan yang ada. Kemampuan kerangka ini untuk mengubah insiden sintetis menjadi pengujian regresi, ditambah dengan fitur seperti pengujian mutasi dan penampil HTML untuk analisis kegagalan yang mendetail, menjadikan Attest sebagai alat penting untuk membangun agen AI yang andal dan kuat.
- KategoriPeninjauan Kode & Pengujian AI
- Model HargaSumber Terbuka
- PenerapanCloud
- PlatformWeb
Fitur Inti Attest Framework
Kerangka Pengujian Agen AI untuk Python dan TypeScript
Menangkap Jejak Agen AI dan Pertukaran Model
Pemutaran Ketat Respons Model yang Direkam dalam CI
Pemeriksaan Deterministik untuk Perilaku Agen
Kontrak Perilaku untuk Panggilan Alat dan Efek Dunia
Penegakan Kebijakan CI dan Gerbang Penggabungan
Pengujian Multi-Agen untuk Rantai Delegasi
Mode Simulasi dengan Alat Tiruan dan Kesalahan yang Disemai
Evaluasi Berkelanjutan dan Deteksi Penyimpangan (Eksperimental)
Evaluasi Pernyataan Berlapis (Deterministik hingga LLM-sebagai-Juri)
Adaptor Kerangka untuk LangChain, CrewAI, LlamaIndex
Adaptor Penyedia untuk OpenAI, Anthropic, Gemini, Ollama
Pengujian Mutasi untuk Efektivitas Suite Pengujian
Penampil HTML untuk Laporan Kegagalan yang Mendetail
Embedding ONNX Lokal untuk Pemeriksaan Semantik Tanpa Biaya
Cara menggunakan Attest Framework?
Instal SDK: Tambahkan `attest-ai` dan `pytest` untuk Python, atau `@attest-ai/core` dan `vitest` untuk TypeScript.
Buat Agen: Definisikan agen AI Anda, pastikan ia merekam LLM dan panggilan alat untuk menangkap jejak.
Tulis Pengujian: Gunakan `expect()` untuk menghubungkan pernyataan dan `attest.evaluate()` untuk mengirimkannya ke mesin.
Jalankan Pengujian: Eksekusi pengujian dengan `uv run pytest -v` untuk Python atau `npx vitest run` untuk TypeScript.
Tangkap Insiden: Gunakan `attest capture` untuk merekam jejak agen dan pertukaran model dari insiden nyata atau sintetis.
Putar Ulang di CI: Jalankan pengujian terhadap respons model yang direkam dalam pipeline CI Anda untuk memastikan hasil yang deterministik.
Gerbang Penggabungan: Konfigurasikan kebijakan CI untuk memblokir permintaan tarik yang melanggar kontrak perilaku atau dasar yang ditentukan.
Tinjau Laporan: Gunakan `attest view` untuk menghasilkan laporan HTML untuk analisis mendetail tentang kegagalan pengujian dan jejak.
Kasus Penggunaan Attest Framework
- Pengujian Regresi Agen AI
- Memverifikasi Interaksi Alat
- Integrasi Berkelanjutan untuk AI
- Evaluasi Keluaran Agen
- Debugging Sistem Multi-Agen
- Mensimulasikan Lingkungan Agen
- Memantau Kinerja Agen
- Pengujian yang Efisien Biaya
- Menjamin Invarian Bisnis




