Description
AI21 construit une infrastructure pour les entreprises exécutant des agents IA en production, plutôt que de livrer sa propre application utilisateur finale. Son argument est que la plupart des équipes paient pour beaucoup plus de jetons que leurs agents n'en ont réellement besoin, et qu'un simple échange de modèle générique ne peut pas résoudre ce problème sans nuire à la qualité.
Lire la suite
Son produit principal, AI21 Gateway, actuellement en version bêta, est un point de terminaison qui se situe entre un agent et ses modèles. L'intégration est un changement d'une ligne, pointant l'URL de base de l'API d'un agent vers la passerelle, et cela fonctionne avec des outils comme Claude Code, Codex, LangChain ou un harnais personnalisé sans modifications supplémentaires du code. La passerelle construit un profil de coût à partir du trafic propre d'un agent, puis réduit et restructure le contexte redondant, dirige chaque tour vers le bon modèle en fonction de la difficulté de la tâche, et ajuste le cache, pesant l'ensemble de l'exécution plutôt qu'optimisant des appels uniques de manière isolée. AI21 rapporte une réduction de coût de 68 % sur un agent de révision de code autonome et annonce des factures de jetons réduites jusqu'à 40 % de manière plus générale, chaque recommandation d'économie étant vérifiée par rapport à des références de codage avant d'atteindre la production. AI21 Gateway est gratuit à utiliser pendant sa prévisualisation bêta ; des fonctionnalités d'entreprise telles que l'accès à un espace de travail partagé nécessitent de contacter directement AI21.
Le deuxième produit, Post-Training, permet à AI21 de travailler aux côtés de l'équipe d'un client pour former un modèle dédié sur leurs données, puis de remettre la recette de formation afin que l'équipe puisse exécuter d'autres cycles elle-même. AI21 présente cela comme le chemin le moins coûteux une fois que la facture d'inférence d'une entreprise dépasse déjà ce qu'il en coûterait pour héberger et former son propre modèle.
AI21 a formé des modèles linguistiques depuis 2021, lorsqu'elle a lancé Jurassic-1, et affirme avoir été la deuxième entreprise au monde à expédier un modèle de langage de grande taille. Son travail inclut la famille de modèles open-source Jamba et 11 articles de recherche publiés sur les mélanges de données, l'architecture et l'échelle. Elle est dirigée par le PDG Ori Goshen et le président Prof. Yoav Shoham, professeur émérite à Stanford et ancien scientifique principal chez Google.
Les outils d'AI21 sont conçus pour les équipes d'ingénierie et de ML opérant des agents IA à grande échelle qui souhaitent réduire les coûts d'inférence ou un modèle ajusté à leurs propres données, plutôt que pour des développeurs individuels construisant un premier prototype.
- CatégoriePlateformes de machine learning
- Modèle tarifaireFreemium
- DéploiementCloud
- PlateformesWeb
Fonctionnalités principales de AI21
AI21 Gateway : un point de terminaison qui réduit le coût des jetons sur le trafic des agents IA
Intégration en une ligne ; fonctionne avec Claude Code, Codex, LangChain ou un harnais personnalisé
Construit un profil de coût par agent à partir du trafic en direct plutôt que des heuristiques génériques
Économies conscientes de la trajectoire qui pèsent l'ensemble de l'exécution d'un agent, pas des appels uniques de manière isolée
Compactage du contexte et mise en cache adaptative pour réduire les dépenses de jetons redondantes
Recommandations d'économies validées par rapport à des références de codage avant d'atteindre la production
Post-Training : formation de modèles personnalisés sur les propres données d'une entreprise, avec la recette remise ensuite
Pile de recherche de pré-formation interne, y compris la famille de modèles open-source Jamba
Comment utiliser AI21 ?
Connecter : pointez l'URL de base de l'API de votre agent vers l'AI21 Gateway
Exécuter le trafic : laissez la passerelle construire un profil de coût à partir de l'utilisation réelle de votre agent
Réviser : vérifiez les recommandations d'économies que la passerelle propose pour votre agent
Approuver : confirmez les changements à appliquer avant qu'ils n'atteignent la production
Obtenir des modèles personnalisés : travaillez avec l'équipe Post-Training d'AI21 pour former un modèle dédié sur vos propres données
Cas d'utilisation de AI21
- Réduction des coûts des agents
- Agents de codage
- Modèles d'entreprise personnalisés
- Agents multi-frameworks
