vLLM

SGLang

AI GitHub リポジトリ

#53

大規模言語モデルおよびマルチモーダルモデル向けに設計された高性能サービングフレームワークです。AIアプリケーションのパフォーマンスを向上させる効率的なサービング機能を提供し、AI分野の開発者や研究者に適しています。SGLangは、大規模言語モデルおよびマルチモーダルモデル向けに設計された高性能サービングフレームワークです。AIアプリケーションのパフォーマンスを向上させる効率的なサービング機能を提供し、AI分野の開発者や研究者に適しています。

vLLM

AI アプリ

大規模言語モデル（LLM）のための高スループットかつメモリ効率の良い推論および提供エンジンです。これにより、最先端のパフォーマンスを持つAIモデルの迅速な展開が可能になり、さまざまな業界のユーザーにとってLLMの提供が簡単で迅速、かつコスト効率の良いものとなります。vLLMは、大規模言語モデル（LLM）のための高スループットかつメモリ効率の良い推論および提供エンジンです。これにより、最先端のパフォーマンスを持つAIモデルの迅速な展開が可能になり、さまざまな業界のユーザーにとってLLMの提供が簡単で迅速、かつコスト効率の良いものとなります。

MLX LM

AI GitHub リポジトリ

#162

MLXフレームワークを使用して大規模言語モデル（LLM）を実行するために設計されたGitHubプロジェクトです。開発者がその開発に貢献し、機能を向上させることができます。MLX LMは、MLXフレームワークを使用して大規模言語モデル（LLM）を実行するために設計されたGitHubプロジェクトです。開発者がその開発に貢献し、機能を向上させることができます。

BentoML

AI GitHub リポジトリ

#93

AIモデルとアプリケーションのデプロイを簡素化するために設計されたオープンソースプラットフォームです。開発者は、モデル推論APIを構築し、ジョブキューを管理し、マルチモデルパイプラインを効率的に作成することができ、AIデプロイメントをアクセスしやすく、スムーズにします。BentoMLは、AIモデルとアプリケーションのデプロイを簡素化するために設計されたオープンソースプラットフォームです。開発者は、モデル推論APIを構築し、ジョブキューを管理し、マルチモデルパイプラインを効率的に作成することができ、AIデプロイメントをアクセスしやすく、スムーズにします。

LlamaFactory

AI GitHub リポジトリ

#12

100以上の大規模言語モデル（LLM）および視覚言語モデル（VLM）の統一的かつ効率的なファインチューニングに焦点を当てたGitHubリポジトリです。AI分野の研究者や開発者のためにファインチューニングプロセスを簡素化することを目的としています。LlamaFactoryは、100以上の大規模言語モデル（LLM）および視覚言語モデル（VLM）の統一的かつ効率的なファインチューニングに焦点を当てたGitHubリポジトリです。AI分野の研究者や開発者のためにファインチューニングプロセスを簡素化することを目的としています。

DeepEval

AI GitHub リポジトリ

#80

大規模言語モデル（LLM）を評価するために設計されたオープンソースのフレームワークです。開発者が評価プロセスに貢献し、LLMのパフォーマンスと信頼性を向上させることができます。DeepEvalは、大規模言語モデル（LLM）を評価するために設計されたオープンソースのフレームワークです。開発者が評価プロセスに貢献し、LLMのパフォーマンスと信頼性を向上させることができます。

Baseten

AI プラットフォーム

#72

Basetenの推論プラットフォームは、ユーザーがオープンソースおよびカスタムAIモデルを効率的にデプロイおよびスケールできるようにします。専用のインフラストラクチャ、高性能なAPI、シームレスな開発者ワークフローを提供し、迅速なデプロイと信頼性の高いパフォーマンスを確保します。

ColossalAI

AI GitHub リポジトリ

#65

大規模AIモデルをより手頃で迅速かつアクセスしやすくすることを目的としたプロジェクトです。AIモデルのトレーニングとデプロイメントを最適化するためのツールとフレームワークを提供し、効率性とスケーラビリティに焦点を当てています。ColossalAIは、大規模AIモデルをより手頃で迅速かつアクセスしやすくすることを目的としたプロジェクトです。AIモデルのトレーニングとデプロイメントを最適化するためのツールとフレームワークを提供し、効率性とスケーラビリティに焦点を当てています。