Descripción
Throttle es una herramienta diseñada para reducir los costos asociados con la inferencia de IA en GPUs, ya sean propias o alquiladas. Logra esto identificando configuraciones de servicio que son ineficientes y demostrando los ahorros en términos de dólares por millón de tokens. Esto asegura que los usuarios solo mantengan configuraciones que proporcionen beneficios de costo genuinos. Throttle es compatible con una amplia gama de servidores de IA, incluyendo vLLM, SGLang, TGI, Ollama, LMDeploy, llama.cpp, TensorRT-LLM y NIM, entre otros.
Leer más
La herramienta es de código abierto y está disponible bajo la licencia MIT, lo que permite a los usuarios inspeccionar y modificar el código según sea necesario. Funciona localmente, lo que significa que todos los prompts, respuestas y claves permanecen dentro del entorno del usuario, asegurando la privacidad y seguridad de los datos. Throttle proporciona una interfaz de línea de comandos (CLI) que es gratuita para usar, y también ofrece un piloto gratuito de 2 meses para usuarios empresariales.
El modelo de precios de Throttle es flexible, comenzando con $10 de créditos gratuitos para Throttle Cloud, que no requiere tarjeta de crédito. El plan Starter tiene un precio de $30 por mes, el plan Pro a $50 por mes, y el plan Team a $100 por mes, cada uno incluyendo créditos de uso equivalentes. Los planes empresariales tienen precios personalizados e implican un piloto práctico donde los usuarios pagan solo a partir de ahorros verificados.
La funcionalidad principal de la herramienta incluye realizar verificaciones para determinar el costo por millón de tokens, con un intervalo de confianza del 95% para tener en cuenta el ruido. Señala cualquier cambio en la longitud de salida o en los límites de tokens, asegurando que solo se consideren los ahorros genuinos. Throttle también proporciona una interfaz de usuario (UI) para visualizar ahorros y costos, que se puede acceder localmente en la máquina del usuario.
- CategoríaMLOps y despliegue de modelos
- Modelo de preciosFreemium
- ImplementaciónLocal
- PlataformasCompatible con OpenAI
Características principales de Throttle
CLI de código abierto
Optimización de costos para la inferencia de IA
Compatibilidad con múltiples servidores de IA
Procesamiento de datos local
Piloto empresarial gratuito de 2 meses
Intervalo de confianza del 95% para ahorros
Veredictos calibrados por ruido
Throttle Cloud con créditos de uso
¿Cómo usar Throttle?
Instalar: pipx install throttle-pro
Ejecutar: Ejecutar throttle check en tu configuración
Analizar: Revisar ahorros de costos y configuraciones
Optimizar: Implementar configuraciones rentables
Casos de uso de Throttle
- Reducción de Costos
- Análisis de Configuración
- Privacidad de Datos
- Ahorros Empresariales
- Desarrollo de Código Abierto
