描述
LM-Kit.NET 为 .NET 应用程序提供了完整的本地 AI 运行时，使开发人员能够直接在其项目中集成高级 AI 功能，而无需依赖云服务。该 SDK 构建在一个单一的、自适应的推理引擎周围，该引擎支持七个不同的能力支柱：AI 代理、文档智能、视觉与多模态、RAG 与知识、文本分析、语音与音频以及文本生成。
阅读更多
这些支柱中的每一个都设计为在核心运行时上无缝运行。LM-Kit.NET NuGet 包包含了整个推理系统，其中包括开源权重 LLM、视觉语言模型、嵌入模型、设备语音转文本、OCR 和分类器。这些组件在各种硬件上得到加速，包括 CPU、AVX2、CUDA 12/13、Vulkan 和 Metal，确保高效的本地执行。这种方法保证了可预测的延迟、完整的数据主权和技术独立性，因为不涉及任何云调用。
AI 代理支柱支持高级编排模式，如 ReAct 规划、Supervisor 和并行/管道编排器，以及持久化内存和自定义工具。文档智能提供强大的 PDF 和图像解析、达到最先进基准分数的设备 OCR，以及使用语法约束生成进行结构化字段提取。视觉与多模态功能包括图像理解、分类、标记、多模态聊天和 VLM-OCR，提供与 LLM 相同的对话界面。
对于 RAG 与知识，LM-Kit.NET 包括一个内置的向量存储，并支持 Qdrant 和 pgvector 连接器，支持混合检索和来源引用。文本分析提供内置分类器和提取器，用于情感、命名实体识别 (NER)、PII 检测和语言检测，并发出类型化的 C# 对象。语音与音频支柱具有不断增长的本地语音转文本堆栈，具有幻觉抑制、语音活动检测、实时翻译和超过 100 种语言的流式输出。
文本生成包括单轮、多轮和无状态对话原语，包括翻译、重写、摘要、提示模板和语法约束输出。LM-Kit.NET 的基础是其自适应推理引擎，该引擎通过动态语法进行约束输出，以保证 JSON、模式和工具调用形状的解析，通过自适应指导减少幻觉，以及模型无关的架构，以便轻松集成新的开源权重模型。
LM-Kit.NET 在云 API 方面具有显著优势，包括无每 token 计费、数据不离开网络、可预测的延迟以及利用现有计算基础设施。它还通过避免 sidecar 和 HTTP shim，直接集成到 .NET 进程中，与 Python 服务形成对比。与其他 .NET 本地堆栈相比，LM-Kit.NET 提供完整的运行时，而不仅仅是推理，它涵盖了代理、RAG、OCR、语音、视觉和分类器。
LM-Kit.NET 兼容 .NET Standard 2.0 和 .NET 8/9/10，可在 Windows、Linux (x64 & ARM64) 和 macOS 上运行。它为非商业应用程序和评估提供免费的社区许可证，并为商业再分发提供专业、定制定价的选项。提供了 Microsoft.Extensions.AI 和 Semantic Kernel 的桥接器，可以与现有的 .NET AI 生态系统无缝集成。
- 类别机器学习平台
- 定价模式免费增值
- 部署自托管
- 平台Windows、Linux、macOS
LM-Kit.NET的核心功能
.NET 的本地 AI 运行时
七个能力支柱：代理、文档智能、视觉、RAG、文本分析、语音、生成
自适应推理引擎
一个 NuGet 包，零云调用
完全控制数据和延迟
设备 OCR，具有 SOTA 基准分数
内置向量存储，支持 Qdrant 和 pgvector 连接器
支持 100 多种语言的本地语音转文本堆栈
用于结构化输出的语法约束生成
CPU、AVX2、CUDA、Vulkan、Metal 上的加速推理
模型无关的架构
提供免费社区许可证
用于商业用途的专业定制许可
Microsoft.Extensions.AI 和 Semantic Kernel 的桥接器
如何使用 LM-Kit.NET？
安装：将 LM-Kit.NET NuGet 包添加到您的 .NET 项目。
配置：设置本地推理引擎并选择所需的 AI 模型。
集成代理：使用 ReAct 规划等模式编排 AI 代理。
处理文档：利用文档智能进行 PDF 和图像解析。
实现视觉：集成图像理解和多模态聊天功能。
构建 RAG 系统：设置向量搜索和检索以增强知识。
分析文本：使用文本分析功能进行分类和提取。
添加语音：集成本地语音转文本和翻译功能。
生成文本：使用对话原语和语法约束生成。
LM-Kit.NET的使用案例
- 本地 AI 开发
- 文档处理
- 设备视觉 AI
- 私有 RAG 系统
- 离线语音识别
- 数据主权
- 可预测的延迟
- AI 代理编排
