Langsung ke konten utama
ToolPotion
Penasihat AI
Kirim (Gratis)

Attest Framework

Attest adalah kerangka pengujian untuk agen AI dalam Python dan TypeScript. Ini membantu pengembang menguji apa yang dikatakan agen AI mereka, alat apa yang dipanggil, dan perubahan apa yang dibuatnya pada sistem eksternal. Dengan memutar ulang respons model yang direkam, Attest memungkinkan pemeriksaan deterministik dalam CI, memastikan keandalan agen dan mencegah regresi tanpa panggilan model langsung.

Kunjungi URL
Bagikan
Tangkapan layar Attest Framework
Tangkapan layar Attest Framework

Attest adalah kerangka pengujian komprehensif yang dirancang khusus untuk agen AI, tersedia untuk lingkungan Python dan TypeScript. Ini memungkinkan pengembang untuk menguji perilaku agen AI mereka secara ketat, memverifikasi keluaran mereka, interaksi alat, dan modifikasi yang mereka buat terhadap keadaan eksternal. Kerangka ini menekankan pemeriksaan deterministik, memungkinkan pengembang untuk menangkap jejak agen dan pertukaran model, kemudian memutarnya kembali terhadap kode nyata agen dalam lingkungan yang terkontrol.

Baca Selengkapnya

Alur kerja inti Attest melibatkan tiga langkah utama: menangkap, memutar ulang, dan gerbang. Pertama, `attest capture` merekam jejak agen dan interaksi model, menyunting data sensitif, dan menyusun kontrak perilaku awal. Kontrak ini mendefinisikan perilaku yang diharapkan, seperti panggilan alat tertentu atau perubahan pada 'keadaan dunia.' Selanjutnya, mekanisme `replay` menjalankan kode nyata agen terhadap respons model yang direkam melalui proxy lokal. Ini menghilangkan variabilitas panggilan model langsung, menjadikan pengujian konsisten dan dapat diulang dalam pipeline CI/CD. Akhirnya, langkah `gate` menegakkan kebijakan berdasarkan hasil pengujian, memblokir penggabungan jika kontrak kritis dilanggar atau perilaku yang tidak terduga terjadi.

Attest mendukung pendekatan berlapis untuk pengujian, dimulai dengan pemeriksaan deterministik gratis dan instan (validasi skema, pemeriksaan batasan, pemeriksaan jejak dan perilaku, pencocokan pola konten) sebelum beralih ke evaluasi berbasis model yang lebih intensif sumber daya seperti kesamaan embedding dan pernyataan LLM-sebagai-juri. Sistem berjenjang ini memungkinkan pengujian yang efisien, dengan pemeriksaan berbasis model hanya dipanggil saat diperlukan. Kerangka ini juga menawarkan fitur canggih seperti pengujian multi-agen, mode simulasi dengan alat tiruan dan kesalahan yang disemai, serta evaluasi berkelanjutan eksperimental untuk memantau penyimpangan skor.

Dengan sistem adaptor yang kuat, Attest terintegrasi dengan penyedia AI populer seperti OpenAI, Anthropic, Gemini, dan Ollama, serta kerangka kerja seperti LangChain, CrewAI, dan LlamaIndex. Ini berjalan dalam penguji unit standar seperti pytest untuk Python dan Vitest untuk TypeScript, memudahkan untuk dimasukkan ke dalam alur kerja pengembangan yang ada. Kemampuan kerangka ini untuk mengubah insiden sintetis menjadi pengujian regresi, ditambah dengan fitur seperti pengujian mutasi dan penampil HTML untuk analisis kegagalan yang mendetail, menjadikan Attest sebagai alat penting untuk membangun agen AI yang andal dan kuat.

  • KategoriPeninjauan Kode & Pengujian AI
  • Model HargaSumber Terbuka
  • PenerapanCloud
  • PlatformWeb

  • Kerangka Pengujian Agen AI untuk Python dan TypeScript

  • Menangkap Jejak Agen AI dan Pertukaran Model

  • Pemutaran Ketat Respons Model yang Direkam dalam CI

  • Pemeriksaan Deterministik untuk Perilaku Agen

  • Kontrak Perilaku untuk Panggilan Alat dan Efek Dunia

  • Penegakan Kebijakan CI dan Gerbang Penggabungan

  • Pengujian Multi-Agen untuk Rantai Delegasi

  • Mode Simulasi dengan Alat Tiruan dan Kesalahan yang Disemai

  • Evaluasi Berkelanjutan dan Deteksi Penyimpangan (Eksperimental)

  • Evaluasi Pernyataan Berlapis (Deterministik hingga LLM-sebagai-Juri)

  • Adaptor Kerangka untuk LangChain, CrewAI, LlamaIndex

  • Adaptor Penyedia untuk OpenAI, Anthropic, Gemini, Ollama

  • Pengujian Mutasi untuk Efektivitas Suite Pengujian

  • Penampil HTML untuk Laporan Kegagalan yang Mendetail

  • Embedding ONNX Lokal untuk Pemeriksaan Semantik Tanpa Biaya

  1. Instal SDK: Tambahkan `attest-ai` dan `pytest` untuk Python, atau `@attest-ai/core` dan `vitest` untuk TypeScript.

  2. Buat Agen: Definisikan agen AI Anda, pastikan ia merekam LLM dan panggilan alat untuk menangkap jejak.

  3. Tulis Pengujian: Gunakan `expect()` untuk menghubungkan pernyataan dan `attest.evaluate()` untuk mengirimkannya ke mesin.

  4. Jalankan Pengujian: Eksekusi pengujian dengan `uv run pytest -v` untuk Python atau `npx vitest run` untuk TypeScript.

  5. Tangkap Insiden: Gunakan `attest capture` untuk merekam jejak agen dan pertukaran model dari insiden nyata atau sintetis.

  6. Putar Ulang di CI: Jalankan pengujian terhadap respons model yang direkam dalam pipeline CI Anda untuk memastikan hasil yang deterministik.

  7. Gerbang Penggabungan: Konfigurasikan kebijakan CI untuk memblokir permintaan tarik yang melanggar kontrak perilaku atau dasar yang ditentukan.

  8. Tinjau Laporan: Gunakan `attest view` untuk menghasilkan laporan HTML untuk analisis mendetail tentang kegagalan pengujian dan jejak.

  • Pengujian Regresi Agen AI
  • Memverifikasi Interaksi Alat
  • Integrasi Berkelanjutan untuk AI
  • Evaluasi Keluaran Agen
  • Debugging Sistem Multi-Agen
  • Mensimulasikan Lingkungan Agen
  • Memantau Kinerja Agen
  • Pengujian yang Efisien Biaya
  • Menjamin Invarian Bisnis

Ulasan Attest Framework

Memuat...

Alat AI Populer Seperti Attest Framework

LangWatch

Aplikasi AI

LangWatch adalah platform pengujian agen AI, evaluasi LLM, dan observabilitas. Platform ini memungkinkan pengembang untuk mensimulasikan skenario dunia nyata, mencegah regresi,…

MLOps & Penerapan Model

Peringkat 14 di Alat Rekayasa Prompt

Lihat Alat

Aplikasi AI

Platform pengujian agen AI, evaluasi LLM, dan observabilitas. Platform ini memungkinkan pengembang untuk mensimulasikan skenario dunia nyata, mencegah regresi,…LangWatch adalah platform pengujian agen AI, evaluasi LLM, dan observabilitas. Platform ini memungkinkan pengembang untuk mensimulasikan skenario dunia nyata, mencegah regresi,…

UnggulanMLOps & Penerapan Model
Peringkat 14 di Alat Rekayasa Prompt

TestSprite adalah platform bertenaga AI yang mengotomatiskan pengujian perangkat lunak. Platform ini membangun rencana pengujian, menulis kode, mengeksekusi pengujian, dan…

Peninjauan Kode & Pengujian AI

Peringkat 35 di Peninjauan Kode & Pengujian AI

Lihat Alat

Platform bertenaga AI yang mengotomatiskan pengujian perangkat lunak. Platform ini membangun rencana pengujian, menulis kode, mengeksekusi pengujian, dan…TestSprite adalah platform bertenaga AI yang mengotomatiskan pengujian perangkat lunak. Platform ini membangun rencana pengujian, menulis kode, mengeksekusi pengujian, dan…

UnggulanPeninjauan Kode & Pengujian AI
Peringkat 35 di Peninjauan Kode & Pengujian AI

Functionize Studio adalah agen pengujian AI yang memverifikasi aplikasi web, termasuk kode yang ditulis oleh agen pengkodean AI. Ini menggabungkan lapisan yang menginterpretasikan…

Peninjauan Kode & Pengujian AILayanan Kesehatan & Ilmu Hayati

Peringkat 32 di Peninjauan Kode & Pengujian AI

Lihat Alat

Agen pengujian AI yang memverifikasi aplikasi web, termasuk kode yang ditulis oleh agen pengkodean AI. Ini menggabungkan lapisan yang menginterpretasikan…Functionize Studio adalah agen pengujian AI yang memverifikasi aplikasi web, termasuk kode yang ditulis oleh agen pengkodean AI. Ini menggabungkan lapisan yang menginterpretasikan…

Peninjauan Kode & Pengujian AILayanan Kesehatan & Ilmu Hayati
Peringkat 32 di Peninjauan Kode & Pengujian AI

ContextQA

Aplikasi AI

ContextQA adalah platform otomatisasi pengujian bertenaga AI untuk aplikasi perusahaan dan agen AI. Platform ini secara otomatis menghasilkan kasus uji, memperbaiki pemilih yang…

Peninjauan Kode & Pengujian AI

Peringkat 74 di Peninjauan Kode & Pengujian AI

Lihat Alat

Aplikasi AI

Platform otomatisasi pengujian bertenaga AI untuk aplikasi perusahaan dan agen AI. Platform ini secara otomatis menghasilkan kasus uji, memperbaiki pemilih yang…ContextQA adalah platform otomatisasi pengujian bertenaga AI untuk aplikasi perusahaan dan agen AI. Platform ini secara otomatis menghasilkan kasus uji, memperbaiki pemilih yang…

Peninjauan Kode & Pengujian AI
Peringkat 74 di Peninjauan Kode & Pengujian AI

TestMu AI

Aplikasi AI

TestMu AI, sebelumnya LambdaTest, adalah platform cloud native AI untuk quality engineering. Platform ini mempercepat pengujian perangkat lunak dengan agen AI otonom untuk…

Peninjauan Kode & Pengujian AI

Peringkat 137 di Aplikasi AI

Lihat Alat

Aplikasi AI

Sebelumnya LambdaTest, adalah platform cloud native AI untuk quality engineering. Platform ini mempercepat pengujian perangkat lunak dengan agen AI otonom untuk…TestMu AI, sebelumnya LambdaTest, adalah platform cloud native AI untuk quality engineering. Platform ini mempercepat pengujian perangkat lunak dengan agen AI otonom untuk…

Peninjauan Kode & Pengujian AI
Peringkat 137 di Aplikasi AI

Maestro

Aplikasi AI

Maestro adalah alat pengujian UI end-to-end berbasis AI yang bersifat open-source untuk aplikasi mobile dan web. Tim menulis tes dalam format YAML yang mudah dibaca,…

Peninjauan Kode & Pengujian AI

Peringkat 18 di Peninjauan Kode & Pengujian AI

Lihat Alat

Aplikasi AI

Alat pengujian UI end-to-end berbasis AI yang bersifat open-source untuk aplikasi mobile dan web. Tim menulis tes dalam format YAML yang mudah dibaca,…Maestro adalah alat pengujian UI end-to-end berbasis AI yang bersifat open-source untuk aplikasi mobile dan web. Tim menulis tes dalam format YAML yang mudah dibaca,…

Peninjauan Kode & Pengujian AI
Peringkat 18 di Peninjauan Kode & Pengujian AI

EvalCore

Aplikasi AI

EvalCore menyediakan pengujian snapshot untuk perilaku AI, memungkinkan Anda merekam bagaimana aplikasi LLM Anda berperilaku dan memutarnya kembali di CI pada setiap perubahan.…

Peninjauan Kode & Pengujian AI
Lihat Alat

Aplikasi AI

Menyediakan pengujian snapshot untuk perilaku AI, memungkinkan Anda merekam bagaimana aplikasi LLM Anda berperilaku dan memutarnya kembali di CI pada setiap perubahan.…EvalCore menyediakan pengujian snapshot untuk perilaku AI, memungkinkan Anda merekam bagaimana aplikasi LLM Anda berperilaku dan memutarnya kembali di CI pada setiap perubahan.…

Peninjauan Kode & Pengujian AI
Lihat Top 250 Aplikasi AI

Testers.ai

Aplikasi AI

Testers.ai membangun CARBON, sebuah alat QA AI yang terhubung dengan agen pengkodean seperti Claude, Codex, Cursor, dan Antigravity melalui MCP. CARBON menjalankan pengujian…

Peninjauan Kode & Pengujian AI

Peringkat 86 di Peninjauan Kode & Pengujian AI

Lihat Alat
1 dari 8