Deskripsi
LLMEval adalah serangkaian penelitian dari Fudan NLP Lab yang didedikasikan untuk menciptakan kerangka evaluasi yang komprehensif, adil, dan kuat untuk model bahasa besar (LLM). Ini mencakup lebih dari 13 disiplin akademis, AI medis, dan mencakup lebih dari 220.000 pertanyaan generatif. Inisiatif ini bertujuan untuk menyediakan kerangka evaluasi yang ketat dan adil untuk LLM, memastikan kinerjanya dinilai secara akurat di berbagai domain.
Baca Selengkapnya
Salah satu komponen kunci dari LLMEval adalah LLMEval-Logic, sebuah tolok ukur sumber terbuka untuk penalaran logis dalam LLM. Tolok ukur ini mencakup 196 item dasar publik dan 154 item yang diperkuat secara adversarial, dengan jawaban yang diverifikasi Z3 dan rubrik ahli. Jalur evaluasi dapat direproduksi, memungkinkan peneliti untuk menguji dan meningkatkan kemampuan penalaran logis LLM.
LLMEval-Fair adalah bagian signifikan lainnya dari inisiatif ini, yang berfokus pada ketahanan dan keadilan dalam evaluasi LLM. Ini melibatkan studi longitudinal selama 30 bulan menggunakan bank pertanyaan tingkat pascasarjana yang bersifat kepemilikan sebanyak 220.000. Jalur otomatis memastikan integritas data melalui kurasi yang tahan kontaminasi dan arsitektur anti-kecurangan yang baru. Studi ini telah mengungkap batas kinerja dan kerentanan kontaminasi data di hampir 60 model terkemuka.
Selain itu, LLMEval-Med menyediakan tolok ukur klinis dunia nyata untuk mengevaluasi LLM medis. Ini mencakup lima area medis inti dan mencakup 2.996 pertanyaan dari catatan kesehatan elektronik dan skenario yang dirancang oleh ahli. Jalur evaluasi divalidasi melalui analisis kesepakatan manusia-mesin, memastikan akurasi tinggi dalam evaluasi AI medis.
LLMEval terbuka untuk publik, dengan kode dan data yang tersedia di GitHub. Peneliti dan pengembang didorong untuk menjelajahi dan berkolaborasi dalam meningkatkan kerangka evaluasi LLM.
- KategoriModel AI & LLM
- Model HargaOpen source
- PenerapanCloud
- PlatformWeb
Fitur Inti LLMEval
Kerangka evaluasi komprehensif
Tolok ukur penalaran logis sumber terbuka
Evaluasi keadilan dan ketahanan
Tolok ukur AI medis
220.000+ pertanyaan generatif
Jawaban yang diverifikasi Z3
Kurasi data yang tahan kontaminasi
Analisis kesepakatan manusia-mesin
Cara menggunakan LLMEval?
Jelajahi: Kunjungi situs web LLMEval
Akses: Unduh dataset dari GitHub
Evaluasi: Gunakan tolok ukur untuk pengujian LLM
Berkolaborasi: Hubungi untuk kemitraan penelitian
Kasus Penggunaan LLMEval
- Penelitian Akademis
- Evaluasi AI Medis
- Pengujian Penalaran Logis
- Penilaian Keadilan
- Penelitian Kolaboratif
