LM-Kit.NET

Cada um desses pilares é projetado para funcionar perfeitamente no runtime principal. O pacote NuGet LM-Kit.NET inclui todo o sistema de inferência, apresentando LLMs de peso aberto, modelos de visão-linguagem, modelos de embedding, conversão de fala para texto no dispositivo, OCR e classificadores. Esses componentes são acelerados em vários hardwares, incluindo CPU, AVX2, CUDA 12/13, Vulkan e Metal, garantindo execução local eficiente. Essa abordagem garante latência previsível, soberania total dos dados e independência tecnológica, pois não há chamadas à nuvem envolvidas.

O pilar Agentes de IA suporta padrões avançados de orquestração como planejamento ReAct, supervisores e orquestradores paralelos/pipeline, juntamente com memória persistente e ferramentas personalizadas. A Inteligência de Documentos oferece análise robusta de PDF e imagens, OCR no dispositivo atingindo pontuações de benchmark de ponta, e extração de campos estruturados usando geração com restrição gramatical. As capacidades de Visão e Multimodal incluem compreensão de imagem, classificação, rotulagem, chat multimodal e VLM-OCR, oferecendo a mesma interface conversacional que os LLMs.

Para RAG e Conhecimento, LM-Kit.NET inclui um armazenamento de vetores integrado com conectores para Qdrant e pgvector, suportando recuperação híbrida e citações de origem. A Análise de Texto fornece classificadores e extratores integrados para sentimento, reconhecimento de entidade nomeada (NER), detecção de PII e detecção de idioma, emitindo objetos C# tipados. O pilar Fala e Áudio apresenta uma pilha de fala para texto local em crescimento com supressão de alucinação, Detecção de Atividade de Voz, tradução em tempo real e saída de streaming para mais de 100 idiomas.

A Geração de Texto abrange primitivas de conversação de turno único, multi-turno e sem estado, incluindo tradução, reescrita, sumarização, modelos de prompt e saídas com restrição gramatical. A base do LM-Kit.NET é seu motor de inferência adaptativo, que apresenta saída restrita via gramática dinâmica para análise garantida de JSON, esquemas e formas de chamada de ferramentas, orientação adaptativa para redução de alucinações e arquitetura agnóstica de modelo para fácil integração de novos modelos de peso aberto.

LM-Kit.NET oferece vantagens significativas sobre APIs em nuvem, incluindo sem cobrança por token, sem dados saindo da rede, latência previsível e aproveitamento da infraestrutura de computação existente. Ele também contrasta com serviços Python ao evitar sidecars e shims HTTP, integrando-se diretamente ao processo .NET. Comparado a outras pilhas locais .NET, LM-Kit.NET fornece o runtime completo, não apenas a inferência, abrangendo agentes, RAG, OCR, fala, visão e classificadores.

LM-Kit.NET é compatível com .NET Standard 2.0 e .NET 8/9/10, rodando em Windows, Linux (x64 & ARM64) e macOS. Ele oferece uma licença comunitária gratuita para aplicações não comerciais e avaliação, com uma opção profissional de preço personalizado para redistribuição comercial. Pontes estão disponíveis para Microsoft.Extensions.AI e Semantic Kernel, permitindo integração perfeita com ecossistemas de IA .NET existentes.