Soup

vLLM

AI GitHub リポジトリ

#23

大規模言語モデル（LLM）向けに設計された高スループットかつメモリ効率の良い推論および提供エンジンです。リソース使用を最小限に抑えつつパフォーマンスを最適化し、AIや機械学習のさまざまなアプリケーションに適しています。vllm-project/vllmは、大規模言語モデル（LLM）向けに設計された高スループットかつメモリ効率の良い推論および提供エンジンです。リソース使用を最小限に抑えつつパフォーマンスを最適化し、AIや機械学習のさまざまなアプリケーションに適しています。

mlc-llm

AI GitHub リポジトリ

機械学習コンパイルを利用してデプロイメントプロセスを効率化するユニバーサルLLMデプロイメントエンジンです。さまざまなプラットフォームで大規模言語モデルをデプロイする際の効率性とスケーラビリティを向上させることを目的としています。mlc-llmは、機械学習コンパイルを利用してデプロイメントプロセスを効率化するユニバーサルLLMデプロイメントエンジンです。さまざまなプラットフォームで大規模言語モデルをデプロイする際の効率性とスケーラビリティを向上させることを目的としています。

AirLLM

AI GitHub リポジトリ

#234

1つの4GB GPUを使用して70億パラメータの推論を可能にするGitHubプロジェクトです。限られたハードウェア上で大規模言語モデルのパフォーマンスを最適化するように設計されており、高度なAI機能をよりアクセスしやすくします。AirLLMは、1つの4GB GPUを使用して70億パラメータの推論を可能にするGitHubプロジェクトです。限られたハードウェア上で大規模言語モデルのパフォーマンスを最適化するように設計されており、高度なAI機能をよりアクセスしやすくします。

ColossalAI

AI GitHub リポジトリ

#65

大規模AIモデルをより手頃で迅速かつアクセスしやすくすることを目的としたプロジェクトです。AIモデルのトレーニングとデプロイメントを最適化するためのツールとフレームワークを提供し、効率性とスケーラビリティに焦点を当てています。ColossalAIは、大規模AIモデルをより手頃で迅速かつアクセスしやすくすることを目的としたプロジェクトです。AIモデルのトレーニングとデプロイメントを最適化するためのツールとフレームワークを提供し、効率性とスケーラビリティに焦点を当てています。

SGLang

AI GitHub リポジトリ

#53

大規模言語モデルおよびマルチモーダルモデル向けに設計された高性能サービングフレームワークです。AIアプリケーションのパフォーマンスを向上させる効率的なサービング機能を提供し、AI分野の開発者や研究者に適しています。SGLangは、大規模言語モデルおよびマルチモーダルモデル向けに設計された高性能サービングフレームワークです。AIアプリケーションのパフォーマンスを向上させる効率的なサービング機能を提供し、AI分野の開発者や研究者に適しています。

Unsloth

AI GitHub リポジトリ

#39

大規模言語モデル（LLM）および拡散モデルを実行およびトレーニングするために設計されたローカルユーザーインターフェースです。Qwen3.8、Kimi K3、MiniMax-H3など、さまざまなモデルをサポートし、開発者や研究者にとってアクセスしやすいプラットフォームを提供します。unslothai/unslothは、大規模言語モデル（LLM）および拡散モデルを実行およびトレーニングするために設計されたローカルユーザーインターフェースです。Qwen3.8、Kimi K3、MiniMax-H3など、さまざまなモデルをサポートし、開発者や研究者にとってアクセスしやすいプラットフォームを提供します。

PowerInfer

AI GitHub リポジトリ

#202

ローカル展開のために設計された高速大規模言語モデルサービングツールです。これにより、大規模言語モデルの効率的かつ迅速な推論が可能になり、AIソリューションをローカルに実装したい開発者や研究者に適しています。PowerInferは、ローカル展開のために設計された高速大規模言語モデルサービングツールです。これにより、大規模言語モデルの効率的かつ迅速な推論が可能になり、AIソリューションをローカルに実装したい開発者や研究者に適しています。

DeepEval

AI GitHub リポジトリ

#80

大規模言語モデル（LLM）を評価するために設計されたオープンソースのフレームワークです。開発者が評価プロセスに貢献し、LLMのパフォーマンスと信頼性を向上させることができます。DeepEvalは、大規模言語モデル（LLM）を評価するために設計されたオープンソースのフレームワークです。開発者が評価プロセスに貢献し、LLMのパフォーマンスと信頼性を向上させることができます。