Deskripsi
EvalCore dirancang untuk membantu pengembang mengetahui kapan AI mereka memburuk sebelum pengguna menyadarinya. Ini menawarkan pengujian snapshot untuk perilaku AI, memungkinkan pengguna merekam bagaimana aplikasi atau agen LLM mereka berperilaku dan kemudian memutar kembali rekaman tersebut dalam integrasi berkelanjutan (CI) pada setiap perubahan. Proses ini dilakukan secara offline, deterministik, dan sepenuhnya gratis.
Baca Selengkapnya
Dengan EvalCore, pengembang dapat dengan mudah memeriksa apakah perubahan seperti memodifikasi prompt, mengganti model, atau memperbarui ketergantungan telah menyebabkan masalah. Alat ini merekam perilaku AI dan memeriksa setiap perubahan terhadap data yang direkam, memastikan bahwa setiap regresi terdeteksi lebih awal. Pengaturannya sederhana, hanya memerlukan binary kecil yang bekerja dengan bahasa pemrograman apa pun, menghilangkan kebutuhan akan test harness atau SDK.
Jalankan pertama EvalCore memanggil model nyata dan merekam setiap permintaan dan respons ke kaset SQLite lokal. Kaset ini dikunci pada hash dari permintaan kanonik, memungkinkan pelacakan token dan biaya yang mudah. Setiap jalankan berikutnya di CI memutar kembali kaset, memastikan bahwa input yang identik menghasilkan output yang identik, sehingga secara efektif memblokir regresi. Ini berarti bahwa pengembang dapat menjalankan pengujian tanpa memerlukan akses jaringan atau kunci API, membuat proses lebih dapat diandalkan dan efisien.
EvalCore kompatibel dengan berbagai model dan API, termasuk OpenAI, vLLM, dan Ollama, serta API REST kustom dan perintah shell. Fleksibilitas ini memungkinkan pengembang untuk mengirim evaluasi pertama mereka dalam hitungan menit tanpa ketergantungan. Alat ini bersifat open-source di bawah lisensi Apache-2.0, membuatnya dapat diakses oleh siapa saja yang ingin meningkatkan aplikasi AI mereka.
- KategoriPeninjauan Kode & Pengujian AI
- Model HargaGratis
- PenerapanLuring
- PlatformmacOS, Linux, pelari CI
Fitur Inti EvalCore
Pengujian snapshot untuk perilaku AI
Pemutaran offline
Hasil deterministik
Tidak memerlukan SDK atau test harness
Merekam permintaan dan respons
Kompatibel dengan OpenAI dan API lainnya
Penyimpanan kaset SQLite lokal
Gratis digunakan di CI
Cara menggunakan EvalCore?
Konfigurasi: Arahkan target ke aplikasi Anda dan daftar dataset.
Jalankan: Eksekusi perintah untuk merekam perilaku AI.
Putar Kembali: Gunakan kaset yang direkam di CI untuk memeriksa regresi.
Komit: Simpan kaset untuk pengujian di masa mendatang.
Kasus Penggunaan EvalCore
- Pengujian Regresi
- Pemantauan Perilaku
- Perbandingan Model
- Pengujian Integrasi
- Pelacakan Biaya
