描述
Superlinked 提供 Superlinked 推理引擎（SIE），这是一个开源推理服务器，旨在为 AI 代理提供小型、特定任务的模型。该平台允许用户根据测量结果将开放模型与领先的 API 进行比较，提供使用 SIE Serverless（托管 API）或在其自己的云基础设施中运行模型的灵活性。
阅读更多
SIE 的设计旨在将推理保持在用户的网络内，解决数据隐私和安全性的问题。它在文档相关任务中表现出色，声称在将文档转换为 JSON 或搜索 PDF 页面等工作中，比前沿 API 快 3 到 15 倍，成本低 88%。该引擎支持广泛的 AI 代理任务，包括搜索和 RAG、文档处理、文本和 LLM 应用、图像和音频理解，以及安全和合规。
Superlinked 成立于 2021 年，总部位于旧金山，是一家 AI 推理公司。SIE 在 Apache 2.0 许可证下发布，允许团队在单台机器上自托管引擎（SIE Local）或在其自己的 AWS、GCP、Azure 或阿里云账户中部署到 Kubernetes 集群（SIE Cluster）。对于需要额外支持的用户，Native Inference 将 SIE Cluster 与 Superlinked 的工程专业知识相结合。
Superlinked 通过提供 142 种模型的全面目录来区分自己，这些模型用于嵌入、重排序、提取、OCR、语音、目标检测和生成，所有这些都可以通过单一 API 访问。这种多模型方法允许多个模型共享 GPU，优化资源利用率，并保持速度，即使在生成任务中也是如此。该平台对于在客户基础设施中部署 AI 的 SaaS 和企业软件公司特别有利，确保数据保留在他们的云中。
集成非常顺畅，提供流行 AI 框架和向量数据库的框架适配器，如 LangChain、LlamaIndex、Haystack、Qdrant、Weaviate、Chroma、LanceDB、DSPy 和 CrewAI。它还提供本地 SDK，以便全面访问功能，并与 OpenAI 兼容，便于现有嵌入或聊天代码的迁移。Superlinked 为 SIE Serverless 提供基于使用的定价模型，新账户可获得 20 美元的免费积分，而开源引擎则免费使用。
- 类别MLOps 与模型部署
- 定价模式免费增值
- 部署云端、自托管
Superlinked的核心功能
Apache 2.0 许可证下的开源推理引擎（SIE）
托管 API（SIE Serverless）以进行管理推理
自托管选项：SIE Local（单台机器）和 SIE Cluster（Kubernetes）
与 Superlinked 工程支持的本地推理
142 种模型的目录，适用于多种 AI 代理任务
支持嵌入、重排序、提取、OCR、语音、目标检测和生成
多模型 GPU 共享以优化性能
与领先 API 相比，推理更快且成本更低
将推理保持在您自己的网络内以保护数据隐私
与流行 AI 框架和向量数据库的集成
与 OpenAI 兼容，便于迁移
支持 25 种代理任务，涵盖六个领域：搜索、文档处理、提取、安全、图像/音频、聊天/生成
部署到 AWS、GCP、Azure、阿里云或隔离网络
基于使用的 Serverless 定价，提供免费积分
通过 GitHub 问题提供社区支持
提供 SOC2 Type 2 报告以确保安全合规
如何使用 Superlinked？
注册：在 Superlinked 控制台创建账户以访问 SIE Serverless，并获得 20 美元的免费积分。
选择部署：选择 SIE Serverless（托管 API）或在您自己的云中自托管 SIE Local/Cluster。
集成模型：直接调用 Superlinked API 或使用 LangChain、LlamaIndex 和其他工具的框架适配器。
选择模型：浏览模型目录，从 142 种特定任务模型中选择适合的 AI 代理工作。
部署到生产：利用 Helm 图表和 Terraform 模块在主要云提供商中进行 Kubernetes 部署。
监控性能：在公共基准上比较模型结果，并跟踪 Serverless 定价以优化成本。
Superlinked的使用案例
- 增强搜索和 RAG
- 文档处理
- 数据提取和分类
- 安全和合规
- 图像和音频理解
- 聊天和文本生成
- 个人身份信息（PII）遮蔽
- 知识图谱构建
