Beschreibung
AI21 baut Infrastruktur für Unternehmen auf, die AI-Agenten in der Produktion betreiben, anstatt eine eigene Endbenutzeranwendung zu liefern. Das Angebot besteht darin, dass die meisten Teams für weit mehr Tokens bezahlen, als ihre Agenten tatsächlich benötigen, und dass ein generischer Modellwechsel allein dies nicht beheben kann, ohne die Qualität zu beeinträchtigen.
Weiterlesen
Das Hauptprodukt, AI21 Gateway, derzeit in der Beta-Phase, ist ein Drop-in-Endpunkt, der zwischen einem Agenten und seinen Modellen sitzt. Die Integration ist eine einzeilige Änderung, bei der die API-Basis-URL eines Agenten auf das Gateway verweist, und es funktioniert mit Tools wie Claude Code, Codex, LangChain oder einem benutzerdefinierten Harness ohne weitere Codeänderungen. Das Gateway erstellt ein Kostenprofil aus dem eigenen Verkehr eines Agenten, trimmt und strukturiert redundanten Kontext um, leitet jede Runde basierend auf der Aufgabenschwierigkeit an das richtige Modell weiter und passt das Caching an, indem es den gesamten Lauf gewichtet, anstatt einzelne Aufrufe isoliert zu optimieren. AI21 berichtet von einer Kostenreduzierung von 68 % bei einem autonomen Code-Review-Agenten und bewirbt Token-Rechnungen, die um bis zu 40 % breiter gesenkt werden, wobei jede Einsparungsempfehlung vor der Produktion gegen Programmierbenchmarks überprüft wird. AI21 Gateway ist während seiner Beta-Vorschau kostenlos; Unternehmensfunktionen wie der Zugriff auf gemeinsame Arbeitsbereiche erfordern eine direkte Kontaktaufnahme mit AI21.
Das zweite Produkt, Post-Training, lässt AI21 mit dem eigenen Team eines Kunden zusammenarbeiten, um ein dediziertes Modell auf deren Daten zu trainieren, und übergibt dann das Trainingsrezept, damit das Team weitere Runden selbst durchführen kann. AI21 bewirbt dies als den kostengünstigeren Weg, sobald die Inferenzkosten eines Unternehmens bereits die Kosten für das Hosting und Training eines eigenen Modells übersteigen.
AI21 hat seit 2021 Sprachmodelle trainiert, als es Jurassic-1 veröffentlichte, und sagt, es sei das zweite Unternehmen der Welt gewesen, das ein großes Sprachmodell auf den Markt brachte. Zu seinen Arbeiten gehören die Open-Source-Jamba-Modellfamilie und 11 veröffentlichte Forschungsarbeiten zu Datenmischungen, Architektur und Skalierung. Es wird von CEO Ori Goshen und dem Vorsitzenden Prof. Yoav Shoham, einem emeritierten Professor der Stanford University und ehemaligen Hauptwissenschaftler bei Google, geleitet.
Die Tools von AI21 sind für Ingenieur- und ML-Teams konzipiert, die AI-Agenten in großem Maßstab betreiben und niedrigere Inferenzkosten oder ein Modell wünschen, das auf ihren eigenen Daten abgestimmt ist, und nicht für einzelne Entwickler, die einen ersten Prototyp erstellen.
- KategorieMachine-Learning-Plattformen
- PreismodellFreemium
- BereitstellungCloud
- PlattformenWeb
AI21's Kernfunktionen
AI21 Gateway: ein Drop-in-Endpunkt, der die Token-Kosten für AI-Agentenverkehr senkt
Einzeilige Integration; funktioniert mit Claude Code, Codex, LangChain oder einem benutzerdefinierten Harness
Erstellt ein Kostenprofil pro Agent aus echtem Verkehr anstelle von generischen Heuristiken
Trajektorienbewusste Einsparungen, die einen gesamten Agentenlauf gewichten, nicht einzelne Aufrufe isoliert
Kontextkompression und adaptive Caching, um redundante Token-Ausgaben zu reduzieren
Einsparungsempfehlungen, die vor der Produktion gegen Programmierbenchmarks validiert werden
Post-Training: benutzerdefiniertes Modelltraining auf den eigenen Daten eines Unternehmens, mit dem Rezept, das anschließend übergeben wird
In-house Pre-Training-Forschungsstack, einschließlich der Open-Source-Jamba-Modellfamilie
Wie verwendet man AI21?
Verbinden: Weisen Sie die API-Basis-URL Ihres Agenten auf das AI21 Gateway zu
Verkehr ausführen: Lassen Sie das Gateway ein Kostenprofil aus der tatsächlichen Nutzung Ihres Agenten erstellen
Überprüfen: Überprüfen Sie die Einsparungsempfehlungen, die das Gateway für Ihren Agenten anzeigt
Genehmigen: Bestätigen Sie, welche Änderungen angewendet werden sollen, bevor sie in die Produktion gehen
Benutzerdefinierte Modelle erhalten: Arbeiten Sie mit dem Post-Training-Team von AI21 zusammen, um ein dediziertes Modell auf Ihren eigenen Daten zu trainieren
AI21's Anwendungsfälle
- Kostenreduzierung für Agenten
- Coding-Agenten
- Benutzerdefinierte Unternehmensmodelle
- Multi-Framework-Agenten
