描述
节流阀是一种旨在降低与GPU上的AI推理相关成本的工具,无论是自有还是租用。它通过识别低效的服务配置并以每百万个令牌的美元形式提供节省,确保用户仅保留提供真正成本效益的配置。节流阀与多种AI服务器兼容,包括vLLM、SGLang、TGI、Ollama、LMDeploy、llama.cpp、TensorRT-LLM和NIM等。
阅读更多
该工具是开源的,并在MIT许可证下提供,允许用户根据需要检查和修改代码。它在本地运行,这意味着所有提示、响应和密钥都保留在用户的环境中,确保数据隐私和安全。节流阀提供一个免费的命令行界面(CLI),并为企业用户提供免费的2个月试用。
节流阀的定价模型灵活,起始时提供10美元的免费积分,无需信用卡。入门计划每月30美元,专业计划每月50美元,团队计划每月100美元,每个计划均包括相应的使用积分。企业计划的定价是定制的,并涉及一个实践试点,用户仅根据验证的节省支付费用。
该工具的核心功能包括运行检查以确定每百万个令牌的成本,具有95%的置信区间以考虑噪声。它标记输出长度或令牌上限的任何变化,确保仅考虑真正的节省。节流阀还提供一个用户界面(UI)用于可视化节省和成本,可以在用户的机器上本地访问。
- 类别MLOps 与模型部署
- 定价模式免费增值
- 部署本地
- 平台兼容 OpenAI
节流阀的核心功能
开源CLI
AI推理的成本优化
与多种AI服务器兼容
本地数据处理
免费的2个月企业试用
95%的节省置信区间
噪声校准的判决
带有使用积分的节流阀云
如何使用 节流阀?
安装:pipx install throttle-pro
运行:在您的设置上执行节流检查
分析:审查成本节省和配置
优化:实施成本效益配置
节流阀的使用案例
- 成本降低
- 配置分析
- 数据隐私
- 企业节省
- 开源开发






