LM-Kit.NET

Jede dieser Säulen ist so konzipiert, dass sie nahtlos auf der Kern-Laufzeitumgebung funktioniert. Das LM-Kit.NET NuGet-Paket enthält das gesamte Inferenzsystem mit Open-Weight-LLMs, Vision-Language-Modellen, Embedding-Modellen, On-Device-Spracherkennung (Speech-to-Text), OCR und Klassifikatoren. Diese Komponenten werden auf verschiedenen Hardwareplattformen beschleunigt, darunter CPU, AVX2, CUDA 12/13, Vulkan und Metal, was eine effiziente lokale Ausführung gewährleistet. Dieser Ansatz garantiert eine vorhersagbare Latenz, vollständige Datensouveränität und technologische Unabhängigkeit, da keine Cloud-Aufrufe erforderlich sind.

Die Säule KI-Agenten unterstützt fortschrittliche Orchestrierungsmuster wie ReAct-Planung, Supervisoren und parallele/Pipeline-Orchestratoren sowie persistente Speicher und benutzerdefinierte Tools. Dokumentenintelligenz bietet robuste PDF- und Bildanalysefunktionen, On-Device-OCR mit branchenführenden Benchmark-Ergebnissen und die Extraktion strukturierter Felder mithilfe grammatikgesteuerter Generierung. Die Fähigkeiten im Bereich Vision & Multimodal umfassen Bildverständnis, Klassifizierung, Kennzeichnung, multimodale Chats und VLM-OCR, die dieselbe Konversationsschnittstelle wie LLMs bieten.

Für RAG & Wissen enthält LM-Kit.NET einen integrierten Vektorspeicher mit Konnektoren für Qdrant und pgvector, der hybride Abfragen und Quellenangaben unterstützt. Die Textanalyse bietet integrierte Klassifikatoren und Extraktoren für Sentiment, Named Entity Recognition (NER), PII-Erkennung und Spracherkennung, die typisierte C#-Objekte ausgeben. Die Säule Sprache & Audio verfügt über einen wachsenden lokalen Speech-to-Text-Stack mit Halluzinationsunterdrückung, Voice Activity Detection, Echtzeitübersetzung und Streaming-Ausgabe für über 100 Sprachen.

Die Textgenerierung umfasst ein- und mehrstufige sowie zustandslose Konversationsprimitive, einschließlich Übersetzung, Umschreibung, Zusammenfassung, Prompt-Vorlagen und grammatikgesteuerte Ausgaben. Die Grundlage von LM-Kit.NET bildet seine adaptive Inferenz-Engine, die eine eingeschränkte Ausgabe über dynamische Grammatiken für die garantierte Analyse von JSON, Schemata und Tool-Aufrufstrukturen, adaptive Führung zur Reduzierung von Halluzinationen und eine modellunabhängige Architektur für die einfache Integration neuer Open-Weight-Modelle bietet.

LM-Kit.NET bietet erhebliche Vorteile gegenüber Cloud-APIs, darunter keine Kosten pro Token, keine Daten, die das Netzwerk verlassen, vorhersagbare Latenz und die Nutzung bestehender Recheninfrastruktur. Es unterscheidet sich auch von Python-Diensten, indem es Sidecars und HTTP-Shims vermeidet und sich direkt in den .NET-Prozess integriert. Im Vergleich zu anderen lokalen .NET-Stacks bietet LM-Kit.NET die vollständige Laufzeitumgebung, nicht nur die Inferenz, und umfasst Agenten, RAG, OCR, Sprache, Vision und Klassifikatoren.

LM-Kit.NET ist kompatibel mit .NET Standard 2.0 und .NET 8/9/10 und läuft unter Windows, Linux (x64 & ARM64) und macOS. Es bietet eine kostenlose Community-Lizenz für nicht-kommerzielle Anwendungen und Evaluierungen sowie eine professionelle, individuell bepreiste Option für die kommerzielle Weiterverbreitung. Brücken für Microsoft.Extensions.AI und Semantic Kernel sind verfügbar, um eine nahtlose Integration in bestehende .NET-KI-Ökosysteme zu ermöglichen.