SGLang-Omni

SGLang

AI GitHub リポジトリ

#53

大規模言語モデルおよびマルチモーダルモデル向けに設計された高性能サービングフレームワークです。AIアプリケーションのパフォーマンスを向上させる効率的なサービング機能を提供し、AI分野の開発者や研究者に適しています。SGLangは、大規模言語モデルおよびマルチモーダルモデル向けに設計された高性能サービングフレームワークです。AIアプリケーションのパフォーマンスを向上させる効率的なサービング機能を提供し、AI分野の開発者や研究者に適しています。

SGLang

AI フレームワーク

大規模な言語モデルとマルチモーダルモデル向けに設計された高性能なサービングフレームワークです。高度なAIソリューションを効率的に実装しようとする開発者のために、広範なハードウェアサポートと堅牢なエコシステムを提供します。SGLangは、大規模な言語モデルとマルチモーダルモデル向けに設計された高性能なサービングフレームワークです。高度なAIソリューションを効率的に実装しようとする開発者のために、広範なハードウェアサポートと堅牢なエコシステムを提供します。

FlashInfer

AI GitHub リポジトリ

大規模言語モデル（LLM）を提供するために設計されたカーネルライブラリです。LLMの効率的なデプロイと管理を促進し、開発者がGitHubを通じてその機能を向上させることを可能にします。FlashInferは、大規模言語モデル（LLM）を提供するために設計されたカーネルライブラリです。LLMの効率的なデプロイと管理を促進し、開発者がGitHubを通じてその機能を向上させることを可能にします。

mlc-llm

AI GitHub リポジトリ

機械学習コンパイルを利用してデプロイメントプロセスを効率化するユニバーサルLLMデプロイメントエンジンです。さまざまなプラットフォームで大規模言語モデルをデプロイする際の効率性とスケーラビリティを向上させることを目的としています。mlc-llmは、機械学習コンパイルを利用してデプロイメントプロセスを効率化するユニバーサルLLMデプロイメントエンジンです。さまざまなプラットフォームで大規模言語モデルをデプロイする際の効率性とスケーラビリティを向上させることを目的としています。

Replicate - APIでAIを実行

AI プラットフォーム

オープンソースの機械学習モデルを実行およびファインチューニングするためのクラウドAPIを提供します。カスタムモデルを1行のコードでデプロイできます。画像生成、音声、音楽、ビデオ作成のための、本番環境対応の数千ものAIモデルにアクセスできます。使用したコンピューティングリソースのみに支払い、自動スケーリングに対応しています。Replicateは、オープンソースの機械学習モデルを実行およびファインチューニングするためのクラウドAPIを提供します。カスタムモデルを1行のコードでデプロイできます。画像生成、音声、音楽、ビデオ作成のための、本番環境対応の数千ものAIモデルにアクセスできます。使用したコンピューティングリソースのみに支払い、自動スケーリングに対応しています。

LocalAI

AI GitHub リポジトリ

#44

ユーザーがGPUを必要とせずに任意のハードウェア上でさまざまなモデル（LLM、ビジョン、音声、画像、動画など）を実行できるオープンソースのAIエンジンです。この柔軟性により、多様なアプリケーションにアクセス可能です。LocalAIは、ユーザーがGPUを必要とせずに任意のハードウェア上でさまざまなモデル（LLM、ビジョン、音声、画像、動画など）を実行できるオープンソースのAIエンジンです。この柔軟性により、多様なアプリケーションにアクセス可能です。

Hugging Face Transformers

AI GitHub リポジトリ

🤗 Transformersは、テキスト、ビジョン、オーディオ、マルチモーダルドメインにおける最先端の機械学習モデルのために設計されたモデル定義フレームワークで、推論とトレーニングプロセスの両方を容易にします。

OpenAI Whisper

AI GitHub リポジトリ

WhisperはOpenAIが開発した堅牢で汎用的な音声認識モデルです。多言語音声認識、翻訳、言語識別に優れています。多様な音声データでトレーニングされており、従来の多段階パイプラインを統一されたシーケンス・トゥ・シーケンスアプローチで置き換える、様々な音声処理タスクのための単一モデルを提供します。