vLLM

vLLM

AI GitHub リポジトリ

#23

大規模言語モデル（LLM）向けに設計された高スループットかつメモリ効率の良い推論および提供エンジンです。リソース使用を最小限に抑えつつパフォーマンスを最適化し、AIや機械学習のさまざまなアプリケーションに適しています。vllm-project/vllmは、大規模言語モデル（LLM）向けに設計された高スループットかつメモリ効率の良い推論および提供エンジンです。リソース使用を最小限に抑えつつパフォーマンスを最適化し、AIや機械学習のさまざまなアプリケーションに適しています。

Runware

AI アプリ

画像、動画、音声、3D、LLM、ビジョンモデルのための統一されたAPIを提供する生成AI推論プラットフォームです。400K以上のモデル、管理されたインフラストラクチャ、カスタム推論エンジンに基づいた使用量ベースの価格設定を提供します。Runwareは、画像、動画、音声、3D、LLM、ビジョンモデルのための統一されたAPIを提供する生成AI推論プラットフォームです。400K以上のモデル、管理されたインフラストラクチャ、カスタム推論エンジンに基づいた使用量ベースの価格設定を提供します。

一般計算

AI アプリ

特別に設計されたASICインフラストラクチャ上でモデルを提供する高速AI推論プロバイダーで、OpenAI互換のAPIを通じて、コーディングエージェントやリアルタイム音声などのレイテンシに敏感なワークロードに対して低いファーストトークン時間と高いスループットを提供します。

開発者が200以上の最適化されたLLMおよびマルチモーダルモデルをデプロイ、ファインチューニング、実行できるAIインフラストラクチャプラットフォームで、OpenAI互換のAPIを通じて従量課金制で提供されます。

ZETIC Melange

AI アプリ

#139

あらゆるデバイス上のあらゆるモデルに対して、オンデバイスAIのデプロイを自動化します。元Qualcommエンジニアが開発し、NPUアクセラレーションを最適化し、200以上のデバイスでベンチマークを行い、わずか3行のコードで数時間でのデプロイを可能にし、コストとレイテンシを削減します。ZETIC Melangeは、あらゆるデバイス上のあらゆるモデルに対して、オンデバイスAIのデプロイを自動化します。元Qualcommエンジニアが開発し、NPUアクセラレーションを最適化し、200以上のデバイスでベンチマークを行い、わずか3行のコードで数時間でのデプロイを可能にし、コストとレイテンシを削減します。

BigDL LLM

AI フレームワーク

BigDL-LLMは、ラップトップからクラウドGPUまで、Intel XPUハードウェア上で大規模言語モデル（LLM）を実行するためのオープンソースライブラリです。低遅延推論のためのINT4/FP4/INT8/FP8量子化をサポートし、PyTorchモデル向けの包括的なファインチューニング機能を提供します。

deAPI

AI アプリ

画像生成、テキスト読み上げ、転写などをカバーするオープンソースの生成AIモデルのための統一APIです。リクエストは分散型GPUクラウドで実行され、ハードウェアを管理することなく低コストの推論を提供します。deAPIは、画像生成、テキスト読み上げ、転写などをカバーするオープンソースの生成AIモデルのための統一APIです。リクエストは分散型GPUクラウドで実行され、ハードウェアを管理することなく低コストの推論を提供します。

Bento

AI プラットフォーム

速度と制御のために設計された推論プラットフォームであり、あらゆるAIモデルをあらゆる場所にデプロイできます。テーラードされた最適化、効率的なスケーリング、およびAIチーム向けの合理化された運用を提供します。デプロイメントに対する完全な制御を維持しながら、推論インフラストラクチャを簡素化します。Bentoは、速度と制御のために設計された推論プラットフォームであり、あらゆるAIモデルをあらゆる場所にデプロイできます。テーラードされた最適化、効率的なスケーリング、およびAIチーム向けの合理化された運用を提供します。デプロイメントに対する完全な制御を維持しながら、推論インフラストラクチャを簡素化します。