Descrição
Throttle é uma ferramenta projetada para reduzir os custos associados à inferência de IA em GPUs, sejam elas próprias ou alugadas. Isso é alcançado ao identificar configurações de serviço que são ineficientes e demonstrar as economias em termos de dólares por milhão de tokens. Isso garante que os usuários mantenham apenas configurações que proporcionem benefícios reais de custo. Throttle é compatível com uma ampla gama de servidores de IA, incluindo vLLM, SGLang, TGI, Ollama, LMDeploy, llama.cpp, TensorRT-LLM e NIM, entre outros.
Ler mais
A ferramenta é de código aberto e está disponível sob a licença MIT, permitindo que os usuários inspecionem e modifiquem o código conforme necessário. Ela opera localmente, o que significa que todos os prompts, respostas e chaves permanecem dentro do ambiente do usuário, garantindo privacidade e segurança dos dados. Throttle fornece uma interface de linha de comando (CLI) que é gratuita para uso e também oferece um piloto gratuito de 2 meses para usuários empresariais.
O modelo de preços do Throttle é flexível, começando com $10 de créditos gratuitos para o Throttle Cloud, que não requer um cartão de crédito. O plano Starter custa $30 por mês, o plano Pro custa $50 por mês e o plano Team custa $100 por mês, cada um incluindo créditos de uso equivalentes. Os planos empresariais têm preços personalizados e envolvem um piloto prático onde os usuários pagam apenas a partir de economias verificadas.
A funcionalidade central da ferramenta inclui a execução de verificações para determinar o custo por milhão de tokens, com um intervalo de confiança de 95% para levar em conta o ruído. Ela sinaliza quaisquer mudanças no comprimento da saída ou limites de tokens, garantindo que apenas economias genuínas sejam consideradas. Throttle também fornece uma interface de usuário (UI) para visualizar economias e custos, que pode ser acessada localmente na máquina do usuário.
- CategoriaMLOps e implantação de modelos
- Modelo de preçosFreemium
- ImplantaçãoLocal
- PlataformasCompatível com OpenAI
Recursos principais de Throttle
CLI de código aberto
Otimização de custos para inferência de IA
Compatibilidade com múltiplos servidores de IA
Processamento de dados local
Piloto empresarial gratuito de 2 meses
Intervalo de confiança de 95% para economias
Veredictos calibrados para ruído
Throttle Cloud com créditos de uso
Como usar Throttle?
Instalar: pipx install throttle-pro
Executar: Execute throttle check na sua configuração
Analisar: Revise as economias de custo e configurações
Otimizar: Implemente configurações econômicas
Casos de uso de Throttle
- Redução de Custos
- Análise de Configuração
- Privacidade de Dados
- Economias Empresariais
- Desenvolvimento de Código Aberto
