Nano-vLLM

vLLM

AI GitHub リポジトリ

#23

大規模言語モデル（LLM）向けに設計された高スループットかつメモリ効率の良い推論および提供エンジンです。リソース使用を最小限に抑えつつパフォーマンスを最適化し、AIや機械学習のさまざまなアプリケーションに適しています。vllm-project/vllmは、大規模言語モデル（LLM）向けに設計された高スループットかつメモリ効率の良い推論および提供エンジンです。リソース使用を最小限に抑えつつパフォーマンスを最適化し、AIや機械学習のさまざまなアプリケーションに適しています。

Petals

AI GitHub リポジトリ

#102

ユーザーがBitTorrentスタイルのアプローチを使用して自宅で大規模言語モデル（LLM）を実行できるオープンソースプロジェクトです。従来のオフロード手法と比較して、より迅速なファインチューニングと推論を提供します。Petalsは、ユーザーがBitTorrentスタイルのアプローチを使用して自宅で大規模言語モデル（LLM）を実行できるオープンソースプロジェクトです。従来のオフロード手法と比較して、より迅速なファインチューニングと推論を提供します。

AirLLM

AI GitHub リポジトリ

#234

1つの4GB GPUを使用して70億パラメータの推論を可能にするGitHubプロジェクトです。限られたハードウェア上で大規模言語モデルのパフォーマンスを最適化するように設計されており、高度なAI機能をよりアクセスしやすくします。AirLLMは、1つの4GB GPUを使用して70億パラメータの推論を可能にするGitHubプロジェクトです。限られたハードウェア上で大規模言語モデルのパフォーマンスを最適化するように設計されており、高度なAI機能をよりアクセスしやすくします。

LLMs-from-scratch

AI GitHub リポジトリ

ユーザーがPyTorchを使用してChatGPTのような言語モデルを実装する手助けをするGitHubプロジェクトです。ゼロから大規模言語モデルを構築するためのステップバイステップのアプローチを提供し、AIや機械学習に興味のある開発者や研究者に最適です。LLMs-from-scratchは、ユーザーがPyTorchを使用してChatGPTのような言語モデルを実装する手助けをするGitHubプロジェクトです。ゼロから大規模言語モデルを構築するためのステップバイステップのアプローチを提供し、AIや機械学習に興味のある開発者や研究者に最適です。

ハッピーLLM

AI GitHub リポジトリ

ゼロから大規模言語モデルを構築することを目的としたオープンソースプロジェクトです。開発者がモデル開発に貢献し、協力するためのリソースとツールを提供します。ハッピーLLMは、ゼロから大規模言語モデルを構築することを目的としたオープンソースプロジェクトです。開発者がモデル開発に貢献し、協力するためのリソースとツールを提供します。

Xinference

AI GitHub リポジトリ

#97

ユーザーが1行のコードを変更することでGPTを任意のLLMに置き換えることを可能にする多目的推論APIです。オープンソース、音声、およびマルチモーダルモデルをサポートし、クラウド、オンプレミス、またはローカルマシンへの展開を可能にします。Xinferenceは、ユーザーが1行のコードを変更することでGPTを任意のLLMに置き換えることを可能にする多目的推論APIです。オープンソース、音声、およびマルチモーダルモデルをサポートし、クラウド、オンプレミス、またはローカルマシンへの展開を可能にします。

MiniCPM5: オンデバイスLLM

AI GitHub リポジトリ

OpenBMBによって開発された高度なオンデバイス言語モデルです。コンパクトなサイズを維持しながら最先端のパフォーマンスを提供し、効率的な処理を必要とするアプリケーションに最適です。MiniCPM5は、OpenBMBによって開発された高度なオンデバイス言語モデルです。コンパクトなサイズを維持しながら最先端のパフォーマンスを提供し、効率的な処理を必要とするアプリケーションに最適です。

llama.cpp

AI GitHub リポジトリ

C/C++におけるLLM推論に特化したGitHubリポジトリです。開発者がその開発に貢献し、機械学習アプリケーションのためにその機能を活用することができます。ggml-org/llama.cppは、C/C++におけるLLM推論に特化したGitHubリポジトリです。開発者がその開発に貢献し、機械学習アプリケーションのためにその機能を活用することができます。