BitNet

Petals

AI GitHub リポジトリ

#102

ユーザーがBitTorrentスタイルのアプローチを使用して自宅で大規模言語モデル（LLM）を実行できるオープンソースプロジェクトです。従来のオフロード手法と比較して、より迅速なファインチューニングと推論を提供します。Petalsは、ユーザーがBitTorrentスタイルのアプローチを使用して自宅で大規模言語モデル（LLM）を実行できるオープンソースプロジェクトです。従来のオフロード手法と比較して、より迅速なファインチューニングと推論を提供します。

MNN

AI GitHub リポジトリ

Alibabaによって開発された高性能で軽量な推論エンジンです。デバイス上のLLMおよびエッジAIアプリケーションを最適化するために設計されており、高速で効率的な推論機能を提供します。MNNは、Alibabaによって開発された高性能で軽量な推論エンジンです。デバイス上のLLMおよびエッジAIアプリケーションを最適化するために設計されており、高速で効率的な推論機能を提供します。

vLLM

AI GitHub リポジトリ

#23

大規模言語モデル（LLM）向けに設計された高スループットかつメモリ効率の良い推論および提供エンジンです。リソース使用を最小限に抑えつつパフォーマンスを最適化し、AIや機械学習のさまざまなアプリケーションに適しています。vllm-project/vllmは、大規模言語モデル（LLM）向けに設計された高スループットかつメモリ効率の良い推論および提供エンジンです。リソース使用を最小限に抑えつつパフォーマンスを最適化し、AIや機械学習のさまざまなアプリケーションに適しています。

Nano-vLLM

AI GitHub リポジトリ

Nano vLLMは、大規模言語モデルのための軽量仮想マシンの開発に焦点を当てたGitHubリポジトリです。推論効率とリソース利用の最適化を目指しており、LLMを扱うAI研究者や開発者に適しています。

bitsandbytes

AI GitHub リポジトリ

PyTorchのkビット量子化を通じて大規模言語モデルをよりアクセスしやすくすることに焦点を当てたGitHubプロジェクトです。モデルのパフォーマンスを最適化し、計算コストを削減することを目指しており、開発者が大規模AIモデルを扱いやすくします。Bitsandbytesは、PyTorchのkビット量子化を通じて大規模言語モデルをよりアクセスしやすくすることに焦点を当てたGitHubプロジェクトです。モデルのパフォーマンスを最適化し、計算コストを削減することを目指しており、開発者が大規模AIモデルを扱いやすくします。

AirLLM

AI GitHub リポジトリ

#234

1つの4GB GPUを使用して70億パラメータの推論を可能にするGitHubプロジェクトです。限られたハードウェア上で大規模言語モデルのパフォーマンスを最適化するように設計されており、高度なAI機能をよりアクセスしやすくします。AirLLMは、1つの4GB GPUを使用して70億パラメータの推論を可能にするGitHubプロジェクトです。限られたハードウェア上で大規模言語モデルのパフォーマンスを最適化するように設計されており、高度なAI機能をよりアクセスしやすくします。

WebLLM

AI GitHub リポジトリ

web-llmは、ウェブ環境内で機械学習タスクを直接実行するために設計された高性能なブラウザ内LLM推論エンジンです。開発者はGitHubを通じてその機能を拡張し、貢献することができます。

LLMs-from-scratch

AI GitHub リポジトリ

ユーザーがPyTorchを使用してChatGPTのような言語モデルを実装する手助けをするGitHubプロジェクトです。ゼロから大規模言語モデルを構築するためのステップバイステップのアプローチを提供し、AIや機械学習に興味のある開発者や研究者に最適です。LLMs-from-scratchは、ユーザーがPyTorchを使用してChatGPTのような言語モデルを実装する手助けをするGitHubプロジェクトです。ゼロから大規模言語モデルを構築するためのステップバイステップのアプローチを提供し、AIや機械学習に興味のある開発者や研究者に最適です。