LM-Kit.NET

Chacun de ces piliers est conçu pour fonctionner de manière transparente sur l'environnement d'exécution principal. Le package NuGet LM-Kit.NET inclut l'intégralité du système d'inférence, avec des LLM open-weight, des modèles vision-langage, des modèles d'embedding, de la reconnaissance vocale sur appareil, de l'OCR et des classificateurs. Ces composants sont accélérés sur divers matériels, y compris CPU, AVX2, CUDA 12/13, Vulkan et Metal, garantissant une exécution locale efficace. Cette approche garantit une latence prévisible, une souveraineté totale des données et une indépendance technologique, car aucun appel cloud n'est impliqué.

Le pilier Agents IA prend en charge des modèles d'orchestration avancés comme la planification ReAct, les superviseurs et les orchestrateurs parallèles/pipeline, ainsi qu'une mémoire persistante et des outils personnalisés. L'Intelligence Documentaire offre une analyse robuste de PDF et d'images, une OCR sur appareil atteignant des scores de référence de pointe, et une extraction de champs structurés utilisant la génération contrainte par grammaire. Les capacités Vision & Multimodal incluent la compréhension d'images, la classification, l'étiquetage, le chat multimodal et le VLM-OCR, offrant la même interface conversationnelle que les LLM.

Pour le RAG & Connaissances, LM-Kit.NET inclut un magasin vectoriel intégré avec des connecteurs pour Qdrant et pgvector, prenant en charge la recherche hybride et les citations de sources. L'Analyse de Texte fournit des classificateurs et des extracteurs intégrés pour le sentiment, la reconnaissance d'entités nommées (NER), la détection de PII et la détection de langue, émettant des objets C# typés. Le pilier Parole & Audio dispose d'une pile de reconnaissance vocale locale croissante avec suppression des hallucinations, détection d'activité vocale, traduction en temps réel et sortie en streaming pour plus de 100 langues.

La Génération de Texte englobe des primitives de conversation à tour unique, multi-tours et sans état, y compris la traduction, la réécriture, la résumé, les modèles de prompt et les sorties contraintes par grammaire. La fondation de LM-Kit.NET est son moteur d'inférence adaptatif, qui propose une sortie contrainte via une grammaire dynamique pour une analyse garantie du JSON, des schémas et des formes d'appel d'outils, un guidage adaptatif pour réduire les hallucinations, et une architecture agnostique aux modèles pour une intégration facile de nouveaux modèles open-weight.

LM-Kit.NET offre des avantages significatifs par rapport aux API cloud, notamment l'absence de facturation par token, aucune donnée ne quittant le réseau, une latence prévisible et l'exploitation de l'infrastructure de calcul existante. Il se distingue également des services Python en évitant les sidecars et les shims HTTP, en s'intégrant directement dans le processus .NET. Comparé à d'autres piles locales .NET, LM-Kit.NET fournit l'environnement d'exécution complet, pas seulement l'inférence, englobant les agents, le RAG, l'OCR, la parole, la vision et les classificateurs.

LM-Kit.NET est compatible avec .NET Standard 2.0 et .NET 8/9/10, fonctionnant sous Windows, Linux (x64 & ARM64) et macOS. Il offre une licence communautaire gratuite pour les applications non commerciales et l'évaluation, avec une option professionnelle à prix personnalisé pour la redistribution commerciale. Des ponts sont disponibles pour Microsoft.Extensions.AI et Semantic Kernel, permettant une intégration transparente avec les écosystèmes IA .NET existants.