メインコンテンツへスキップ
ToolPotion
AI アドバイザー
送信(無料)

スロットル

AI アプリMLOps・モデルデプロイ#190フリーミアム · OpenAI互換

スロットルは、非効率なサービング構成を特定することで、GPU上のAI推論コストを最適化します。百万トークンあたりのドルでの節約を提供し、コスト効率の良いAI運用を確保します。さまざまなAIサーバーと互換性があり、オープンソースのCLIと無料の2ヶ月間のパイロットを提供します。

URLを訪問
共有
スロットル のスクリーンショット
スロットル のスクリーンショット

スロットルは、所有またはレンタルのGPU上でのAI推論に関連するコストを削減するために設計されたツールです。非効率なサービング構成を特定し、百万トークンあたりのドルでの節約を証明することで、ユーザーが真のコスト利益を提供する構成のみを保持することを保証します。スロットルは、vLLM、SGLang、TGI、Ollama、LMDeploy、llama.cpp、TensorRT-LLM、NIMなど、幅広いAIサーバーと互換性があります。

続きを読む

このツールはオープンソースで、MITライセンスの下で利用可能であり、ユーザーは必要に応じてコードを検査および変更できます。ローカルで動作するため、すべてのプロンプト、レスポンス、およびキーはユーザーの環境内に留まり、データのプライバシーとセキュリティを確保します。スロットルは、無料で使用できるコマンドラインインターフェース(CLI)を提供し、企業ユーザー向けには無料の2ヶ月間のパイロットも提供しています。

スロットルの価格モデルは柔軟で、クレジットカード不要で$10の無料クレジットから始まります。スタータープランは月額$30、プロプランは月額$50、チームプランは月額$100で、各プランには同等の使用クレジットが含まれています。エンタープライズプランはカスタム価格で、ユーザーが確認された節約からのみ支払うハンズオンパイロットを含みます。

このツールのコア機能には、百万トークンあたりのコストを決定するためのチェックを実行することが含まれ、ノイズを考慮した95%の信頼区間を提供します。出力の長さやトークンキャップのヒットにおける変更をフラグ付けし、真の節約のみが考慮されるようにします。スロットルは、ユーザーのマシン上でローカルにアクセスできる節約とコストを視覚化するためのユーザーインターフェース(UI)も提供します。

  • カテゴリーMLOps・モデルデプロイ
  • 料金モデルフリーミアム
  • デプロイローカル
  • プラットフォームOpenAI互換

  • オープンソースCLI

  • AI推論のコスト最適化

  • 複数のAIサーバーとの互換性

  • ローカルデータ処理

  • 無料の2ヶ月間の企業パイロット

  • 節約のための95%の信頼区間

  • ノイズキャリブレーションされた判定

  • 使用クレジット付きのスロットルクラウド

  1. インストール: pipx install throttle-pro

  2. 実行: セットアップでスロットルチェックを実行

  3. 分析: コスト節約と構成をレビュー

  4. 最適化: コスト効率の良い構成を実装

  • コスト削減
  • 構成分析
  • データプライバシー
  • 企業の節約
  • オープンソース開発

スロットル のレビュー

読み込み中...

スロットル に似た人気のAIツール

ホップスコッチは、Anthropic、OpenAI、Googleなどのプロバイダーから500以上のAIモデルに単一のAPIを通じてアクセスを提供します。ユーザーは各APIキー、チームメンバー、ワークスペースごとに支出制限を設定でき、コスト管理と効率的なモデル使用を確保します。

MLOps・モデルデプロイ

AIモデルの微調整で第72位

ツールを見る

Anthropic、OpenAI、Googleなどのプロバイダーから500以上のAIモデルに単一のAPIを通じてアクセスを提供します。ユーザーは各APIキー、チームメンバー、ワークスペースごとに支出制限を設定でき、コスト管理と効率的なモデル使用を確保します。ホップスコッチは、Anthropic、OpenAI、Googleなどのプロバイダーから500以上のAIモデルに単一のAPIを通じてアクセスを提供します。ユーザーは各APIキー、チームメンバー、ワークスペースごとに支出制限を設定でき、コスト管理と効率的なモデル使用を確保します。

MLOps・モデルデプロイ
AIモデルの微調整で第72位

一般計算

AI アプリ

特別に設計されたASICインフラストラクチャ上でモデルを提供する高速AI推論プロバイダーで、OpenAI互換のAPIを通じて、コーディングエージェントやリアルタイム音声などのレイテンシに敏感なワークロードに対して低いファーストトークン時間と高いスループットを提供します。

MLOps・モデルデプロイ
ツールを見る

AI アプリ

特別に設計されたASICインフラストラクチャ上でモデルを提供する高速AI推論プロバイダーで、OpenAI互換のAPIを通じて、コーディングエージェントやリアルタイム音声などのレイテンシに敏感なワークロードに対して低いファーストトークン時間と高いスループットを提供します。

MLOps・モデルデプロイ
AI アプリ トップ250を見る

ZETIC Melange

AI アプリ

ZETIC Melangeは、あらゆるデバイス上のあらゆるモデルに対して、オンデバイスAIのデプロイを自動化します。元Qualcommエンジニアが開発し、NPUアクセラレーションを最適化し、200以上のデバイスでベンチマークを行い、わずか3行のコードで数時間でのデプロイを可能にし、コストとレイテンシを削減します。

MLOps・モデルデプロイ

MLOps・モデルデプロイで第146位

ツールを見る

AI アプリ

あらゆるデバイス上のあらゆるモデルに対して、オンデバイスAIのデプロイを自動化します。元Qualcommエンジニアが開発し、NPUアクセラレーションを最適化し、200以上のデバイスでベンチマークを行い、わずか3行のコードで数時間でのデプロイを可能にし、コストとレイテンシを削減します。ZETIC Melangeは、あらゆるデバイス上のあらゆるモデルに対して、オンデバイスAIのデプロイを自動化します。元Qualcommエンジニアが開発し、NPUアクセラレーションを最適化し、200以上のデバイスでベンチマークを行い、わずか3行のコードで数時間でのデプロイを可能にし、コストとレイテンシを削減します。

MLOps・モデルデプロイ
MLOps・モデルデプロイで第146位

Navige

AI アプリ

Navigeは、適切なモデルに呼び出しをルーティングし、不必要な呼び出しをブロックし、完了した作業を再利用することで、AIエージェントのコストを最適化します。同じ出力を確保しながら経費を削減し、AIの運用をより効率的かつコスト効果の高いものにします。

MLOps・モデルデプロイ

MLOps・モデルデプロイで第169位

ツールを見る

AI アプリ

適切なモデルに呼び出しをルーティングし、不必要な呼び出しをブロックし、完了した作業を再利用することで、AIエージェントのコストを最適化します。同じ出力を確保しながら経費を削減し、AIの運用をより効率的かつコスト効果の高いものにします。Navigeは、適切なモデルに呼び出しをルーティングし、不必要な呼び出しをブロックし、完了した作業を再利用することで、AIエージェントのコストを最適化します。同じ出力を確保しながら経費を削減し、AIの運用をより効率的かつコスト効果の高いものにします。

MLOps・モデルデプロイ
MLOps・モデルデプロイで第169位

Inference.net

AI アプリ

Inference.netは、AIネイティブチームがAIワークロードを実行、監視、最適化するためのインフラストラクチャを提供します。オープンソース、カスタム、ファインチューニングされたモデルに対して、低コストで高速な推論を実現し、大規模なスケールでの処理を可能にします。

MLOps・モデルデプロイ

AIモデルの微調整で第76位

ツールを見る

AI アプリ

AIネイティブチームがAIワークロードを実行、監視、最適化するためのインフラストラクチャを提供します。オープンソース、カスタム、ファインチューニングされたモデルに対して、低コストで高速な推論を実現し、大規模なスケールでの処理を可能にします。Inference.netは、AIネイティブチームがAIワークロードを実行、監視、最適化するためのインフラストラクチャを提供します。オープンソース、カスタム、ファインチューニングされたモデルに対して、低コストで高速な推論を実現し、大規模なスケールでの処理を可能にします。

MLOps・モデルデプロイ
AIモデルの微調整で第76位

GPUX

AI アプリ

GPUXはAIモデル向けのサーバーレスGPU推論を提供し、機械学習ワークロードの高速なデプロイと実行を可能にします。高速なコールドスタート、Stable Diffusion XLやWhisperなどの様々なAIモデルのサポート、プライベートモデルでの推論実行やリクエスト販売をユーザーに提供し、AIをよりアクセスしやすく効率的にします。

MLOps・モデルデプロイ
ツールを見る

AI アプリ

AIモデル向けのサーバーレスGPU推論を提供し、機械学習ワークロードの高速なデプロイと実行を可能にします。高速なコールドスタート、Stable Diffusion XLやWhisperなどの様々なAIモデルのサポート、プライベートモデルでの推論実行やリクエスト販売をユーザーに提供し、AIをよりアクセスしやすく効率的にします。GPUXはAIモデル向けのサーバーレスGPU推論を提供し、機械学習ワークロードの高速なデプロイと実行を可能にします。高速なコールドスタート、Stable Diffusion XLやWhisperなどの様々なAIモデルのサポート、プライベートモデルでの推論実行やリクエスト販売をユーザーに提供し、AIをよりアクセスしやすく効率的にします。

MLOps・モデルデプロイ
AI アプリ トップ250を見る

Chutesは、ユーザーが数秒で任意のAIモデルをデプロイ、実行、スケールできるサーバーレスAIコンピュートプラットフォームです。オープンソースモデルに焦点を当て、AI開発者や企業にとって柔軟で効率的な環境を提供します。

MLOps・モデルデプロイ
ツールを見る

ユーザーが数秒で任意のAIモデルをデプロイ、実行、スケールできるサーバーレスAIコンピュートプラットフォームです。オープンソースモデルに焦点を当て、AI開発者や企業にとって柔軟で効率的な環境を提供します。Chutesは、ユーザーが数秒で任意のAIモデルをデプロイ、実行、スケールできるサーバーレスAIコンピュートプラットフォームです。オープンソースモデルに焦点を当て、AI開発者や企業にとって柔軟で効率的な環境を提供します。

MLOps・モデルデプロイ
AI アプリ トップ250を見る

GMI Cloud

AI アプリ

GMI CloudはAIワークロード向けの高性能GPUクラウドインフラストラクチャを提供します。サーバーレス推論、専用GPUクラスター、ベアメタルAIインフラストラクチャをサポートし、AIモデルのデプロイメントや機械学習タスクにスケーラブルなソリューションを提供します。

MLOps・モデルデプロイ

AI DevOps・クラウドツールで第76位

ツールを見る

AI アプリ

AIワークロード向けの高性能GPUクラウドインフラストラクチャを提供します。サーバーレス推論、専用GPUクラスター、ベアメタルAIインフラストラクチャをサポートし、AIモデルのデプロイメントや機械学習タスクにスケーラブルなソリューションを提供します。GMI CloudはAIワークロード向けの高性能GPUクラウドインフラストラクチャを提供します。サーバーレス推論、専用GPUクラスター、ベアメタルAIインフラストラクチャをサポートし、AIモデルのデプロイメントや機械学習タスクにスケーラブルなソリューションを提供します。

MLOps・モデルデプロイ
AI DevOps・クラウドツールで第76位
1 / 8