LM-Kit.NET

Setiap pilar ini dirancang untuk berfungsi secara mulus pada runtime inti. Paket NuGet LM-Kit.NET mencakup seluruh sistem inferensi, menampilkan LLM open-weight, model bahasa visi, model embedding, ucapan-ke-teks di perangkat, OCR, dan classifier. Komponen-komponen ini dipercepat di berbagai perangkat keras, termasuk CPU, AVX2, CUDA 12/13, Vulkan, dan Metal, memastikan eksekusi lokal yang efisien. Pendekatan ini menjamin latensi yang dapat diprediksi, kedaulatan data penuh, dan kemandirian teknologi, karena tidak ada panggilan cloud yang terlibat.

Pilar Agen AI mendukung pola orkestrasi canggih seperti perencanaan ReAct, supervisor, dan orkestrator paralel/pipeline, bersama dengan memori persisten dan alat kustom. Intelijen Dokumen menawarkan parsing PDF dan gambar yang kuat, OCR di perangkat yang mencapai skor benchmark state-of-the-art, dan ekstraksi bidang terstruktur menggunakan generasi yang dibatasi tata bahasa. Kemampuan Visi & Multimodal mencakup pemahaman gambar, klasifikasi, pelabelan, obrolan multimodal, dan VLM-OCR, menawarkan antarmuka percakapan yang sama seperti LLM.

Untuk RAG & Pengetahuan, LM-Kit.NET menyertakan penyimpanan vektor bawaan dengan konektor untuk Qdrant dan pgvector, mendukung pengambilan hibrida dan kutipan sumber. Analisis Teks menyediakan classifier dan extractor bawaan untuk sentimen, pengenalan entitas bernama (NER), deteksi PII, dan deteksi bahasa, mengeluarkan objek C# bertipe. Pilar Ucapan & Audio menampilkan tumpukan ucapan-ke-teks lokal yang terus berkembang dengan penekanan halusinasi, Deteksi Aktivitas Suara, terjemahan real-time, dan output streaming untuk lebih dari 100 bahasa.

Generasi Teks mencakup primitif percakapan satu giliran, multi-giliran, dan stateless, termasuk terjemahan, penulisan ulang, peringkasan, template prompt, dan output yang dibatasi tata bahasa. Fondasi LM-Kit.NET adalah mesin inferensi adaptifnya, yang menampilkan output terbatas melalui tata bahasa dinamis untuk parsing yang dijamin dari bentuk JSON, skema, dan panggilan alat, panduan adaptif untuk mengurangi halusinasi, dan arsitektur yang independen dari model untuk integrasi model open-weight baru yang mudah.

LM-Kit.NET menawarkan keuntungan signifikan dibandingkan API cloud, termasuk tidak ada penagihan per token, tidak ada data yang meninggalkan jaringan, latensi yang dapat diprediksi, dan pemanfaatan infrastruktur komputasi yang ada. Ia juga berbeda dari layanan Python dengan menghindari sidecar dan shim HTTP, terintegrasi langsung ke dalam proses .NET. Dibandingkan dengan tumpukan lokal .NET lainnya, LM-Kit.NET menyediakan runtime penuh, bukan hanya inferensi, mencakup agen, RAG, OCR, ucapan, visi, dan classifier.

LM-Kit.NET kompatibel dengan .NET Standard 2.0 dan .NET 8/9/10, berjalan di Windows, Linux (x64 & ARM64), dan macOS. Ia menawarkan lisensi komunitas gratis untuk aplikasi non-komersial dan evaluasi, dengan opsi profesional berharga khusus untuk redistribusi komersial. Jembatan tersedia untuk Microsoft.Extensions.AI dan Semantic Kernel, memungkinkan integrasi mulus dengan ekosistem AI .NET yang ada.