oMLX

omlx

AI GitHub リポジトリ

#185

Apple Silicon向けに設計されたLLM推論サーバーで、継続的バッチ処理とSSDキャッシングを特徴としています。macOSメニューバーから直接管理され、巨大な言語モデルを扱う開発者にとって効率的でスムーズな体験を提供します。omlxはApple Silicon向けに設計されたLLM推論サーバーで、継続的バッチ処理とSSDキャッシングを特徴としています。macOSメニューバーから直接管理され、巨大な言語モデルを扱う開発者にとって効率的でスムーズな体験を提供します。

一般計算

AI アプリ

特別に設計されたASICインフラストラクチャ上でモデルを提供する高速AI推論プロバイダーで、OpenAI互換のAPIを通じて、コーディングエージェントやリアルタイム音声などのレイテンシに敏感なワークロードに対して低いファーストトークン時間と高いスループットを提供します。

RunInfra

AI アプリ

#98

オープンソースのAIモデル用のホスティングされたAPIゲートウェイで、開発者にOpenAIおよびAnthropic SDKと互換性のある1つのAPIキーを提供します。Nemotron、Qwen、Ornithなどのモデルを提供し、セッションを意識したキャッシングによりAIエージェントのレイテンシとコストを削減します。RunInfraは、オープンソースのAIモデル用のホスティングされたAPIゲートウェイで、開発者にOpenAIおよびAnthropic SDKと互換性のある1つのAPIキーを提供します。Nemotron、Qwen、Ornithなどのモデルを提供し、セッションを意識したキャッシングによりAIエージェントのレイテンシとコストを削減します。

vLLM

AI アプリ

大規模言語モデル（LLM）のための高スループットかつメモリ効率の良い推論および提供エンジンです。これにより、最先端のパフォーマンスを持つAIモデルの迅速な展開が可能になり、さまざまな業界のユーザーにとってLLMの提供が簡単で迅速、かつコスト効率の良いものとなります。vLLMは、大規模言語モデル（LLM）のための高スループットかつメモリ効率の良い推論および提供エンジンです。これにより、最先端のパフォーマンスを持つAIモデルの迅速な展開が可能になり、さまざまな業界のユーザーにとってLLMの提供が簡単で迅速、かつコスト効率の良いものとなります。

Inference.net

AI アプリ

#78

AIネイティブチームがAIワークロードを実行、監視、最適化するためのインフラストラクチャを提供します。オープンソース、カスタム、ファインチューニングされたモデルに対して、低コストで高速な推論を実現し、大規模なスケールでの処理を可能にします。Inference.netは、AIネイティブチームがAIワークロードを実行、監視、最適化するためのインフラストラクチャを提供します。オープンソース、カスタム、ファインチューニングされたモデルに対して、低コストで高速な推論を実現し、大規模なスケールでの処理を可能にします。

Runware

AI アプリ

画像、動画、音声、3D、LLM、ビジョンモデルのための統一されたAPIを提供する生成AI推論プラットフォームです。400K以上のモデル、管理されたインフラストラクチャ、カスタム推論エンジンに基づいた使用量ベースの価格設定を提供します。Runwareは、画像、動画、音声、3D、LLM、ビジョンモデルのための統一されたAPIを提供する生成AI推論プラットフォームです。400K以上のモデル、管理されたインフラストラクチャ、カスタム推論エンジンに基づいた使用量ベースの価格設定を提供します。

BLACKBOX AI

AI アプリ

#125

300以上のオープンおよびクローズドの言語モデルにリクエストをルーティングする推論プラットフォームで、1つの暗号化されたOpenAI互換APIを介して提供され、オープンウェイトモデル用の専用シングルテナントデプロイメントも備えています。また、エージェントAPIとコーディングタスク用のコマンドラインエージェントも提供されており、データ…BLACKBOX AIは、300以上のオープンおよびクローズドの言語モデルにリクエストをルーティングする推論プラットフォームで、1つの暗号化されたOpenAI互換APIを介して提供され、オープンウェイトモデル用の専用シングルテナントデプロイメントも備えています。また、エージェントAPIとコーディングタスク用のコマンドラインエージェントも提供されており、データ…

Chutes | サーバーレスAIコンピュート

AI アプリ

ユーザーが数秒で任意のAIモデルをデプロイ、実行、スケールできるサーバーレスAIコンピュートプラットフォームです。オープンソースモデルに焦点を当て、AI開発者や企業にとって柔軟で効率的な環境を提供します。Chutesは、ユーザーが数秒で任意のAIモデルをデプロイ、実行、スケールできるサーバーレスAIコンピュートプラットフォームです。オープンソースモデルに焦点を当て、AI開発者や企業にとって柔軟で効率的な環境を提供します。