Nebius Token Factory

Le service couvre à la fois les démarrages rapides et les charges de travail de production. Les développeurs peuvent appeler l'API directement, tester des invites dans un environnement de test, ou l'intégrer dans des outils existants via des intégrations prises en charge telles que LiteLLM et Aisuite, des frameworks comme LlamaIndex et LangChain, et des bibliothèques d'agents incluant Agno et CrewAI. Pour les équipes au-delà de la phase prototype, Token Factory ajoute des points de terminaison dédiés, un autoscaling avec un routage conscient du cache, et une inférence par lots pour traiter de grands volumes de demandes en dehors des contraintes de temps réel.

Au-delà de servir des modèles pré-entraînés tels quels, Token Factory prend en charge la post-formation et la personnalisation : les équipes peuvent affiner des modèles ouverts sur leurs propres données et déployer les modèles personnalisés résultants via la même infrastructure. Nebius soutient cela avec une documentation technique et des articles de blog couvrant des sujets d'architecture tels que pourquoi les grands modèles de mélange d'experts mettent à l'épreuve les budgets de latence, comment le décodage spéculatif change le service de production, et comment la conception du routage affecte la différence entre l'évolutivité et le blocage sous charge.

Token Factory s'adresse aux développeurs et aux équipes d'IA construisant sur des modèles ouverts plutôt que sur des API fermées et propriétaires. Il s'inscrit dans le cadre plus large de Nebius AI Cloud, qui propose des machines virtuelles GPU et des clusters pour les équipes qui souhaitent entraîner ou exécuter leurs propres stacks personnalisés au lieu d'utiliser une inférence gérée. Nebius propose également un programme Builder offrant des crédits et un soutien, des livres de recettes avec des exemples exécutables, des heures de bureau communautaires, et un Discord pour les personnes construisant sur la plateforme, ainsi que des playlists YouTube qui expliquent l'architecture de Token Factory et les projets communautaires construits dessus.

Les tarifs spécifiques pour l'inférence de Token Factory ne sont pas publiés sur la page elle-même ; les tarifs plus larges de Nebius AI Cloud sont basés sur l'utilisation et couvrent séparément les instances GPU utilisées pour l'entraînement et l'hébergement de l'inférence gérée de Token Factory.