Description
Superlinked propose le Superlinked Inference Engine (SIE), un serveur d'inférence open-source conçu pour alimenter des agents d'IA avec de petits modèles spécifiques à des tâches. La plateforme permet aux utilisateurs de comparer des modèles ouverts avec des API de premier plan sur la base de résultats mesurés, offrant la flexibilité d'utiliser SIE Serverless (une API hébergée) ou d'exécuter les modèles au sein de leur propre infrastructure cloud.
Lire la suite
SIE est conçu pour maintenir l'inférence au sein du réseau d'un utilisateur, répondant aux préoccupations concernant la confidentialité et la sécurité des données. Il affiche des performances supérieures pour les tâches liées aux documents, affirmant être de 3 à 15 fois plus rapide et 88 % moins cher pour des travaux tels que la conversion de documents en JSON ou la recherche de pages PDF par rapport aux API de pointe. Le moteur prend en charge un large éventail de tâches d'agents d'IA, y compris la recherche et RAG, le traitement de documents, les applications de texte et LLM, la compréhension d'images et d'audio, ainsi que la sécurité et la conformité.
Fondée en 2021, Superlinked est une entreprise d'inférence d'IA basée à San Francisco. SIE est publié sous la licence Apache 2.0, permettant aux équipes d'auto-héberger le moteur sur une seule machine (SIE Local) ou de le déployer sur des clusters Kubernetes (SIE Cluster) dans leurs propres comptes AWS, GCP, Azure ou Alibaba Cloud. Pour ceux qui nécessitent un soutien supplémentaire, Native Inference combine SIE Cluster avec l'expertise technique de Superlinked.
Superlinked se distingue en offrant un catalogue complet de 142 modèles pour les embeddings, le reranking, l'extraction, l'OCR, la parole, la détection d'objets et la génération, tous accessibles via une seule API. Cette approche multi-modèle permet à plusieurs modèles de partager des GPU, optimisant l'utilisation des ressources et maintenant la rapidité, même pour les tâches de génération. La plateforme est particulièrement bénéfique pour les entreprises de logiciels SaaS et d'entreprise qui déploient l'IA au sein de l'infrastructure de leurs clients, garantissant que les données restent dans leur cloud.
L'intégration est transparente, avec des adaptateurs de framework pour des frameworks d'IA populaires et des bases de données vectorielles comme LangChain, LlamaIndex, Haystack, Qdrant, Weaviate, Chroma, LanceDB, DSPy et CrewAI. Elle fournit également un SDK natif pour un accès complet aux fonctionnalités et une compatibilité avec OpenAI pour une migration facile des embeddings ou du code de chat existants. Superlinked propose un modèle de tarification basé sur l'utilisation pour SIE Serverless, avec de nouveaux comptes recevant 20 $ de crédits gratuits, tandis que le moteur open-source est gratuit à utiliser.
- CatégorieMLOps et déploiement de modèles
- Modèle tarifaireFreemium
- DéploiementCloud, Auto-hébergé
Fonctionnalités principales de Superlinked
Moteur d'inférence open-source (SIE) sous licence Apache 2.0
API hébergée (SIE Serverless) pour une inférence gérée
Options d'auto-hébergement : SIE Local (machine unique) et SIE Cluster (Kubernetes)
Inference native avec le soutien technique de Superlinked
Catalogue de 142 modèles pour diverses tâches d'agents d'IA
Prend en charge les embeddings, le reranking, l'extraction, l'OCR, la parole, la détection d'objets et la génération
Partage multi-modèle de GPU pour des performances optimisées
Inférence plus rapide et efficacité des coûts par rapport aux API de premier plan
Maintient l'inférence au sein de votre propre réseau pour la confidentialité des données
Intégrations avec des frameworks d'IA populaires et des bases de données vectorielles
Compatibilité avec OpenAI pour une migration facile
Prend en charge 25 tâches d'agents dans six domaines : recherche, traitement de documents, extraction, sécurité, image/audio, chat/génération
Déploiement sur AWS, GCP, Azure, Alibaba Cloud ou réseaux isolés
Tarification basée sur l'utilisation pour Serverless avec crédits gratuits
Soutien communautaire via les problèmes GitHub
Rapport SOC2 Type 2 disponible pour la conformité en matière de sécurité
Comment utiliser Superlinked ?
Inscription : Créez un compte dans la console Superlinked pour accéder à SIE Serverless et recevoir 20 $ de crédits gratuits.
Choisir le déploiement : Sélectionnez entre SIE Serverless pour une API hébergée ou auto-hébergez SIE Local/Cluster dans votre propre cloud.
Intégrer les modèles : Appelez directement l'API Superlinked ou utilisez des adaptateurs de framework pour LangChain, LlamaIndex et d'autres outils.
Sélectionner les modèles : Parcourez le catalogue de modèles pour choisir parmi 142 modèles spécifiques à des tâches pour divers travaux d'agents d'IA.
Déployer en production : Utilisez des charts Helm et des modules Terraform pour le déploiement Kubernetes chez les principaux fournisseurs de cloud.
Surveiller les performances : Comparez les résultats des modèles sur des benchmarks publics et suivez la tarification Serverless pour optimiser les coûts.
Cas d'utilisation de Superlinked
- Recherche Améliorée et RAG
- Traitement de Documents
- Extraction et Classification de Données
- Sécurité et Conformité
- Compréhension d'Images et d'Audio
- Génération de Texte et de Chat
- Masquage de PII
- Construction de Graphes de Connaissances
