Description
Throttle est un outil conçu pour réduire les coûts associés à l'inférence AI sur les GPU, qu'ils soient possédés ou loués. Il y parvient en identifiant les configurations de service inefficaces et en prouvant les économies en termes de dollars par million de tokens. Cela garantit que les utilisateurs ne conservent que les configurations qui offrent de réels avantages en termes de coûts. Throttle est compatible avec une large gamme de serveurs AI, y compris vLLM, SGLang, TGI, Ollama, LMDeploy, llama.cpp, TensorRT-LLM et NIM, entre autres.
Lire la suite
L'outil est open-source et disponible sous la licence MIT, permettant aux utilisateurs d'inspecter et de modifier le code selon leurs besoins. Il fonctionne localement, ce qui signifie que toutes les invites, réponses et clés restent dans l'environnement de l'utilisateur, garantissant la confidentialité et la sécurité des données. Throttle fournit une interface en ligne de commande (CLI) gratuite à utiliser, et propose également un pilote gratuit de 2 mois pour les utilisateurs d'entreprise.
Le modèle de tarification de Throttle est flexible, commençant par 10 $ de crédits gratuits pour Throttle Cloud, sans nécessiter de carte de crédit. Le plan Starter est au prix de 30 $ par mois, le plan Pro à 50 $ par mois, et le plan Team à 100 $ par mois, chacun incluant des crédits d'utilisation équivalents. Les plans d'entreprise sont tarifés sur mesure et impliquent un pilote pratique où les utilisateurs ne paient que sur des économies vérifiées.
La fonctionnalité principale de l'outil inclut des vérifications pour déterminer le coût par million de tokens, avec un intervalle de confiance de 95 % pour tenir compte du bruit. Il signale tout changement dans la longueur de sortie ou les limites de tokens, garantissant que seules les économies réelles sont prises en compte. Throttle fournit également une interface utilisateur (UI) pour visualiser les économies et les coûts, qui peut être accessible localement sur la machine de l'utilisateur.
- CatégorieMLOps et déploiement de modèles
- Modèle tarifaireFreemium
- DéploiementLocal
- PlateformesCompatible OpenAI
Fonctionnalités principales de Throttle
CLI open-source
Optimisation des coûts pour l'inférence AI
Compatibilité avec plusieurs serveurs AI
Traitement des données local
Pilote d'entreprise gratuit de 2 mois
Intervalle de confiance de 95 % pour les économies
Verdicts calibrés au bruit
Throttle Cloud avec crédits d'utilisation
Comment utiliser Throttle ?
Installer : pipx install throttle-pro
Exécuter : Exécutez throttle check sur votre configuration
Analyser : Examinez les économies de coûts et les configurations
Optimiser : Mettez en œuvre des configurations rentables
Cas d'utilisation de Throttle
- Réduction des coûts
- Analyse de configuration
- Confidentialité des données
- Économies d'entreprise
- Développement open source
