LM-Kit.NET

Каждое из этих направлений разработано для бесперебойной работы на основной среде выполнения. Пакет NuGet LM-Kit.NET включает в себя всю систему вывода, содержащую LLM с открытыми весами, визуально-языковые модели, модели встраивания (embedding models), локальное преобразование речи в текст (speech-to-text), OCR и классификаторы. Эти компоненты ускоряются на различных аппаратных платформах, включая CPU, AVX2, CUDA 12/13, Vulkan и Metal, обеспечивая эффективное локальное выполнение. Такой подход гарантирует предсказуемую задержку, полный суверенитет данных и технологическую независимость, поскольку облачные вызовы отсутствуют.

Направление ИИ-агентов поддерживает передовые шаблоны оркестрации, такие как планирование ReAct, супервизоры и параллельные/конвейерные оркестраторы, а также постоянную память и пользовательские инструменты. Интеллектуальная обработка документов предлагает надежный парсинг PDF и изображений, локальный OCR, достигающий передовых результатов в бенчмарках, и извлечение структурированных полей с использованием генерации с ограничениями по грамматике. Возможности зрение и мультимодальность включают понимание изображений, классификацию, маркировку, мультимодальный чат и VLM-OCR, предлагая тот же диалоговый интерфейс, что и LLM.

Для RAG и знаний LM-Kit.NET включает встроенное векторное хранилище с коннекторами для Qdrant и pgvector, поддерживающее гибридный поиск и цитирование источников. Анализ текста предоставляет встроенные классификаторы и экстракторы для определения тональности, именованных сущностей (NER), обнаружения персональных данных (PII) и языка, выдавая типизированные объекты C#. Направление речь и аудио включает растущий локальный стек преобразования речи в текст с подавлением галлюцинаций, обнаружением активности голоса (VAD), в реальном времени переводом и потоковым выводом для более чем 100 языков.

Генерация текста охватывает примитивы однократного, многократного и без сохранения состояния диалога, включая перевод, переписывание, суммаризацию, шаблоны запросов и вывод с ограничениями по грамматике. Основой LM-Kit.NET является его адаптивный механизм вывода, который обеспечивает вывод с ограничениями с помощью динамической грамматики для гарантированного парсинга JSON, схем и форматов вызовов инструментов, адаптивное руководство для снижения галлюцинаций и модель-агностическую архитектуру для легкой интеграции новых моделей с открытыми весами.

LM-Kit.NET предлагает значительные преимущества по сравнению с облачными API, включая отсутствие оплаты за токен, отсутствие утечки данных из сети, предсказуемую задержку и использование существующей вычислительной инфраструктуры. Он также отличается от Python-сервисов отсутствием сайдкаров и HTTP-прослоек, интегрируясь непосредственно в процесс .NET. По сравнению с другими локальными стеками для .NET, LM-Kit.NET предоставляет полную среду выполнения, а не только механизм вывода, охватывая агентов, RAG, OCR, речь, зрение и классификаторы.

LM-Kit.NET совместим с .NET Standard 2.0 и .NET 8/9/10, работает на Windows, Linux (x64 и ARM64) и macOS. Он предлагает бесплатную лицензию сообщества для некоммерческих приложений и оценки, а также профессиональный вариант с индивидуальной ценой для коммерческого распространения. Доступны мосты для Microsoft.Extensions.AI и Semantic Kernel, обеспечивающие бесшовную интеграцию с существующими экосистемами ИИ для .NET.