説明
スロットルは、所有またはレンタルのGPU上でのAI推論に関連するコストを削減するために設計されたツールです。非効率なサービング構成を特定し、百万トークンあたりのドルでの節約を証明することで、ユーザーが真のコスト利益を提供する構成のみを保持することを保証します。スロットルは、vLLM、SGLang、TGI、Ollama、LMDeploy、llama.cpp、TensorRT-LLM、NIMなど、幅広いAIサーバーと互換性があります。
続きを読む
このツールはオープンソースで、MITライセンスの下で利用可能であり、ユーザーは必要に応じてコードを検査および変更できます。ローカルで動作するため、すべてのプロンプト、レスポンス、およびキーはユーザーの環境内に留まり、データのプライバシーとセキュリティを確保します。スロットルは、無料で使用できるコマンドラインインターフェース(CLI)を提供し、企業ユーザー向けには無料の2ヶ月間のパイロットも提供しています。
スロットルの価格モデルは柔軟で、クレジットカード不要で$10の無料クレジットから始まります。スタータープランは月額$30、プロプランは月額$50、チームプランは月額$100で、各プランには同等の使用クレジットが含まれています。エンタープライズプランはカスタム価格で、ユーザーが確認された節約からのみ支払うハンズオンパイロットを含みます。
このツールのコア機能には、百万トークンあたりのコストを決定するためのチェックを実行することが含まれ、ノイズを考慮した95%の信頼区間を提供します。出力の長さやトークンキャップのヒットにおける変更をフラグ付けし、真の節約のみが考慮されるようにします。スロットルは、ユーザーのマシン上でローカルにアクセスできる節約とコストを視覚化するためのユーザーインターフェース(UI)も提供します。
- カテゴリーMLOps・モデルデプロイ
- 料金モデルフリーミアム
- デプロイローカル
- プラットフォームOpenAI互換
スロットルの主要機能
オープンソースCLI
AI推論のコスト最適化
複数のAIサーバーとの互換性
ローカルデータ処理
無料の2ヶ月間の企業パイロット
節約のための95%の信頼区間
ノイズキャリブレーションされた判定
使用クレジット付きのスロットルクラウド
スロットルの使い方は?
インストール: pipx install throttle-pro
実行: セットアップでスロットルチェックを実行
分析: コスト節約と構成をレビュー
最適化: コスト効率の良い構成を実装
スロットルの使用例
- コスト削減
- 構成分析
- データプライバシー
- 企業の節約
- オープンソース開発






