MNN

vLLM

AI GitHub リポジトリ

#23

大規模言語モデル（LLM）向けに設計された高スループットかつメモリ効率の良い推論および提供エンジンです。リソース使用を最小限に抑えつつパフォーマンスを最適化し、AIや機械学習のさまざまなアプリケーションに適しています。vllm-project/vllmは、大規模言語モデル（LLM）向けに設計された高スループットかつメモリ効率の良い推論および提供エンジンです。リソース使用を最小限に抑えつつパフォーマンスを最適化し、AIや機械学習のさまざまなアプリケーションに適しています。

Microsoftが開発した1ビット大規模言語モデル（LLM）の公式推論フレームワークです。LLMの効率的な処理と展開を可能にし、パフォーマンスとリソースの使用を最適化します。BitNetは、Microsoftが開発した1ビット大規模言語モデル（LLM）の公式推論フレームワークです。LLMの効率的な処理と展開を可能にし、パフォーマンスとリソースの使用を最適化します。

Baseten

AI プラットフォーム

#72

Basetenの推論プラットフォームは、ユーザーがオープンソースおよびカスタムAIモデルを効率的にデプロイおよびスケールできるようにします。専用のインフラストラクチャ、高性能なAPI、シームレスな開発者ワークフローを提供し、迅速なデプロイと信頼性の高いパフォーマンスを確保します。

AirLLM

AI GitHub リポジトリ

#234

1つの4GB GPUを使用して70億パラメータの推論を可能にするGitHubプロジェクトです。限られたハードウェア上で大規模言語モデルのパフォーマンスを最適化するように設計されており、高度なAI機能をよりアクセスしやすくします。AirLLMは、1つの4GB GPUを使用して70億パラメータの推論を可能にするGitHubプロジェクトです。限られたハードウェア上で大規模言語モデルのパフォーマンスを最適化するように設計されており、高度なAI機能をよりアクセスしやすくします。

mlc-llm

AI GitHub リポジトリ

機械学習コンパイルを利用してデプロイメントプロセスを効率化するユニバーサルLLMデプロイメントエンジンです。さまざまなプラットフォームで大規模言語モデルをデプロイする際の効率性とスケーラビリティを向上させることを目的としています。mlc-llmは、機械学習コンパイルを利用してデプロイメントプロセスを効率化するユニバーサルLLMデプロイメントエンジンです。さまざまなプラットフォームで大規模言語モデルをデプロイする際の効率性とスケーラビリティを向上させることを目的としています。

Soup

AI GitHub リポジトリ

スープは、単一のYAMLファイルを使用して大規模言語モデル（LLM）のファインチューニングを可能にするGitHubリポジトリです。レイヤーストリーミングを利用して、4GBのラップトップGPU上で80億パラメータのモデルをトレーニングし、限られたハードウェアでの高度なAIモデルのトレーニングを実現します。

omlx

AI GitHub リポジトリ

#135

Apple Silicon向けに設計されたLLM推論サーバーで、継続的バッチ処理とSSDキャッシングを特徴としています。macOSメニューバーから直接管理され、巨大な言語モデルを扱う開発者にとって効率的でスムーズな体験を提供します。omlxはApple Silicon向けに設計されたLLM推論サーバーで、継続的バッチ処理とSSDキャッシングを特徴としています。macOSメニューバーから直接管理され、巨大な言語モデルを扱う開発者にとって効率的でスムーズな体験を提供します。

開発者が200以上の最適化されたLLMおよびマルチモーダルモデルをデプロイ、ファインチューニング、実行できるAIインフラストラクチャプラットフォームで、OpenAI互換のAPIを通じて従量課金制で提供されます。