Nebius Token Factory

Der Dienst deckt sowohl schnelle Starts als auch Produktionsarbeitslasten ab. Entwickler können die API direkt aufrufen, Eingabeaufforderungen in einem Spielplatz testen oder sie in vorhandene Tools über unterstützte Integrationen wie LiteLLM und Aisuite, Frameworks wie LlamaIndex und LangChain sowie Agentenbibliotheken wie Agno und CrewAI integrieren. Für Teams, die über die Prototypenphase hinaus sind, fügt Token Factory dedizierte Endpunkte, Autoskalierung mit cachebewusstem Routing und Batch-Inferenz hinzu, um große Mengen von Anfragen außerhalb der Echtzeitanforderungen zu verarbeiten.

Neben der Bereitstellung von vortrainierten Modellen unterstützt Token Factory Post-Training und Anpassungen: Teams können offene Modelle mit ihren eigenen Daten feinabstimmen und die resultierenden benutzerdefinierten Modelle über dieselbe Infrastruktur bereitstellen. Nebius unterstützt dies mit technischer Dokumentation und Blogbeiträgen, die Architekturthemen abdecken, wie z. B. warum große Mischmodelle von Experten die Latenzbudgets belasten, wie spekulatives Decoding die Produktionsbereitstellung verändert und wie das Routing-Design den Unterschied zwischen Skalierung und Stagnation unter Last beeinflusst.

Token Factory richtet sich an Entwickler und KI-Teams, die auf offenen Modellen aufbauen möchten, anstatt auf geschlossene, proprietäre APIs. Es passt zu Nebius' umfassenderer AI Cloud, die GPU-virtuelle Maschinen und Cluster für Teams bietet, die ihre eigenen benutzerdefinierten Stacks trainieren oder ausführen möchten, anstatt verwaltete Inferenz zu nutzen. Nebius betreibt auch ein Builder-Programm, das Credits und Unterstützung, Kochbücher mit ausführbaren Beispielen, Community-Sprechstunden und einen Discord für Personen, die auf der Plattform aufbauen, sowie YouTube-Playlists bietet, die durch die Architektur von Token Factory und Community-Projekte, die darauf aufgebaut sind, führen.

Spezifische Preise für die Token Factory-Inferenz werden auf der Seite selbst nicht veröffentlicht; die umfassenderen Preise von Nebius' AI Cloud basieren auf der Nutzung und decken GPU-Instanzen ab, die separat für das Training und das Hosting verwendet werden, im Gegensatz zur verwalteten Inferenz von Token Factory.