설명
LM-Kit.NET은 .NET 애플리케이션을 위한 완전한 로컬 AI 런타임을 제공하여 개발자가 클라우드 서비스에 의존하지 않고 프로젝트 내에서 직접 고급 AI 기능을 통합할 수 있도록 지원합니다. 이 SDK는 AI 에이전트, 문서 인텔리전스, 비전 및 멀티모달, RAG 및 지식, 텍스트 분석, 음성 및 오디오, 텍스트 생성의 7가지 고유한 기능 기둥을 지원하는 단일 적응형 추론 엔진을 중심으로 구축되었습니다.
더 읽기
이러한 각 기둥은 핵심 런타임에서 원활하게 작동하도록 설계되었습니다. LM-Kit.NET NuGet 패키지에는 오픈 가중치 LLM, 비전-언어 모델, 임베딩 모델, 온디바이스 음성-텍스트, OCR 및 분류기를 포함한 전체 추론 시스템이 포함되어 있습니다. 이러한 구성 요소는 CPU, AVX2, CUDA 12/13, Vulkan 및 Metal을 포함한 다양한 하드웨어에서 가속되어 효율적인 로컬 실행을 보장합니다. 이 접근 방식은 클라우드 호출이 없으므로 예측 가능한 지연 시간, 완전한 데이터 주권 및 기술 독립성을 보장합니다.
AI 에이전트 기둥은 ReAct 계획, 감독자 및 병렬/파이프라인 오케스트레이터와 같은 고급 오케스트레이션 패턴과 지속적인 메모리 및 사용자 지정 도구를 지원합니다. 문서 인텔리전스는 강력한 PDF 및 이미지 구문 분석, 최첨단 벤치마크 점수를 달성하는 온디바이스 OCR, 문법 제약 생성기를 사용한 구조화된 필드 추출을 제공합니다. 비전 및 멀티모달 기능에는 이미지 이해, 분류, 레이블 지정, 멀티모달 채팅 및 LLM과 동일한 대화형 인터페이스를 제공하는 VLM-OCR이 포함됩니다.
RAG 및 지식의 경우 LM-Kit.NET에는 Qdrant 및 pgvector 커넥터가 있는 내장 벡터 저장소가 포함되어 있으며 하이브리드 검색 및 소스 인용을 지원합니다. 텍스트 분석은 감정, 명명된 개체 인식(NER), PII 감지 및 언어 감지를 위한 내장 분류기 및 추출기를 제공하여 형식화된 C# 개체를 내보냅니다. 음성 및 오디오 기둥은 환각 억제, 음성 활동 감지, 실시간 번역 및 100개 이상의 언어에 대한 스트리밍 출력을 갖춘 성장하는 로컬 음성-텍스트 스택을 특징으로 합니다.
텍스트 생성은 번역, 재작성, 요약, 프롬프트 템플릿 및 문법 제약 출력을 포함한 단일 턴, 다중 턴 및 상태 비저장 대화 기본 요소를 포함합니다. LM-Kit.NET의 기반은 동적 문법을 통한 제약 출력으로 JSON, 스키마 및 도구 호출 모양의 보장된 구문 분석, 환각 감소를 위한 적응형 안내, 새로운 오픈 가중치 모델의 쉬운 통합을 위한 모델 불가지론적 아키텍처를 특징으로 하는 적응형 추론 엔진입니다.
LM-Kit.NET은 토큰당 요금 없음, 네트워크를 벗어나는 데이터 없음, 예측 가능한 지연 시간, 기존 컴퓨팅 인프라 활용 등 클라우드 API에 비해 상당한 이점을 제공합니다. 또한 사이드카 및 HTTP shim을 피하고 .NET 프로세스에 직접 통합하여 Python 서비스와 차별화됩니다. 다른 .NET 로컬 스택과 비교할 때 LM-Kit.NET은 에이전트, RAG, OCR, 음성, 비전 및 분류기를 포함하는 추론뿐만 아니라 전체 런타임을 제공합니다.
LM-Kit.NET은 .NET Standard 2.0 및 .NET 8/9/10과 호환되며 Windows, Linux(x64 및 ARM64) 및 macOS에서 실행됩니다. 비상업적 애플리케이션 및 평가를 위한 무료 커뮤니티 라이선스와 상업적 재배포를 위한 전문 맞춤형 가격 옵션을 제공합니다. Microsoft.Extensions.AI 및 Semantic Kernel용 브리지가 제공되어 기존 .NET AI 생태계와 원활하게 통합할 수 있습니다.
- 카테고리머신러닝 플랫폼
- 요금제부분 무료
- 배포셀프 호스팅
- 플랫폼Windows, Linux, macOS
LM-Kit.NET의 핵심 기능
.NET용 로컬 AI 런타임
7가지 기능 기둥: 에이전트, 문서 인텔리전스, 비전, RAG, 텍스트 분석, 음성, 생성
적응형 추론 엔진
단일 NuGet 패키지, 클라우드 호출 없음
데이터 및 지연 시간에 대한 완전한 제어
SOTA 벤치마크 점수를 갖춘 온디바이스 OCR
Qdrant 및 pgvector 커넥터가 있는 내장 벡터 저장소
100개 이상의 언어를 지원하는 로컬 음성-텍스트 스택
구조화된 출력을 위한 문법 제약 생성
CPU, AVX2, CUDA, Vulkan, Metal에서 가속화된 추론
모델 불가지론적 아키텍처
무료 커뮤니티 라이선스 제공
상업적 사용을 위한 전문 맞춤형 라이선스
Microsoft.Extensions.AI 및 Semantic Kernel용 브리지
LM-Kit.NET 사용 방법은?
설치: LM-Kit.NET NuGet 패키지를 .NET 프로젝트에 추가합니다.
구성: 로컬 추론 엔진을 설정하고 원하는 AI 모델을 선택합니다.
에이전트 통합: ReAct 계획과 같은 패턴을 사용하여 AI 에이전트를 오케스트레이션합니다.
문서 처리: 문서 인텔리전스를 사용하여 PDF 및 이미지 구문 분석을 수행합니다.
비전 구현: 이미지 이해 및 멀티모달 채팅 기능을 통합합니다.
RAG 시스템 구축: 지식 증강을 위해 벡터 검색 및 검색을 설정합니다.
텍스트 분석: 텍스트 분석 기능을 사용하여 분류 및 추출을 수행합니다.
음성 추가: 로컬 음성-텍스트 및 번역 기능을 통합합니다.
텍스트 생성: 대화 기본 요소 및 문법 제약 생성을 사용합니다.
LM-Kit.NET의 사용 사례
- 로컬 AI 개발
- 문서 처리
- 온디바이스 비전 AI
- 개인 RAG 시스템
- 오프라인 음성 인식
- 데이터 주권
- 예측 가능한 지연 시간
- AI 에이전트 오케스트레이션
