Beschreibung
Throttle ist ein Tool, das entwickelt wurde, um die mit der KI-Inferenz auf GPUs verbundenen Kosten zu senken, unabhängig davon, ob diese im Besitz sind oder gemietet werden. Es erreicht dies, indem es Bereitstellungskonfigurationen identifiziert, die ineffizient sind, und die Einsparungen in Form von Dollar pro Million Tokens nachweist. Dies stellt sicher, dass die Benutzer nur Konfigurationen beibehalten, die echte Kostenvorteile bieten. Throttle ist mit einer Vielzahl von KI-Servern kompatibel, darunter vLLM, SGLang, TGI, Ollama, LMDeploy, llama.cpp, TensorRT-LLM und NIM, unter anderem.
Weiterlesen
Das Tool ist Open Source und unter der MIT-Lizenz verfügbar, sodass Benutzer den Code nach Bedarf einsehen und ändern können. Es arbeitet lokal, was bedeutet, dass alle Eingaben, Antworten und Schlüssel innerhalb der Umgebung des Benutzers bleiben, wodurch Datenschutz und Sicherheit gewährleistet sind. Throttle bietet eine Befehlszeilenschnittstelle (CLI), die kostenlos genutzt werden kann, und bietet auch ein kostenloses 2-monatiges Pilotprojekt für Unternehmenskunden.
Das Preismodell von Throttle ist flexibel und beginnt mit 10 USD an kostenlosen Guthaben für Throttle Cloud, für die keine Kreditkarte erforderlich ist. Der Starter-Plan kostet 30 USD pro Monat, der Pro-Plan 50 USD pro Monat und der Team-Plan 100 USD pro Monat, wobei jeder Plan entsprechende Nutzungsguthaben enthält. Unternehmenspläne sind individuell bepreist und beinhalten ein praktisches Pilotprojekt, bei dem die Benutzer nur aus verifizierten Einsparungen zahlen.
Die Kernfunktionalität des Tools umfasst die Durchführung von Prüfungen zur Bestimmung der Kosten pro Million Tokens, mit einem Konfidenzintervall von 95 %, um Rauschen zu berücksichtigen. Es kennzeichnet Änderungen in der Ausgabelänge oder Token-Obergrenzen, um sicherzustellen, dass nur echte Einsparungen berücksichtigt werden. Throttle bietet auch eine Benutzeroberfläche (UI) zur Visualisierung von Einsparungen und Kosten, die lokal auf dem Computer des Benutzers zugänglich ist.
- KategorieMLOps & Modell-Deployment
- PreismodellFreemium
- BereitstellungLokal
- PlattformenOpenAI-kompatibel
Throttle's Kernfunktionen
Open-Source-CLI
Kostenoptimierung für KI-Inferenz
Kompatibilität mit mehreren KI-Servern
Lokale Datenverarbeitung
Kostenloses 2-monatiges Unternehmenspilotprojekt
95% Konfidenzintervall für Einsparungen
Rauschkalibrierte Urteile
Throttle Cloud mit Nutzungsguthaben
Wie verwendet man Throttle?
Installieren: pipx install throttle-pro
Ausführen: Führen Sie throttle check auf Ihrer Einrichtung aus
Analysieren: Überprüfen Sie Kosteneinsparungen und Konfigurationen
Optimieren: Implementieren Sie kosteneffiziente Konfigurationen
Throttle's Anwendungsfälle
- Kostenreduzierung
- Konfigurationsanalyse
- Datenschutz
- Unternehmenseinsparungen
- Open Source Entwicklung
