説明
LocalAIは、MITライセンスのオープンソースランタイムで、その目的はすべてのマシンでAIを実行できるようにすることです。OpenAI、Anthropic、Ollama、ElevenLabsと互換性のあるAPIを公開する単一のバイナリをパッケージ化しているため、ほとんどの既存のクライアントは、クラウドプロバイダーではなく、ユーザー自身のハードウェア上で実行されるモデルを指すようにURLを変更するだけで済みます。このプロジェクトは48,900以上のGitHubスターを獲得し、現在バージョン4.8.0です。
続きを読む
そのAPIの下には、モデルが必要とする別の推論バックエンドを引き込む薄いコアがあり、llama.cpp、vLLM、SGLang、MLXなどが含まれ、モデルの設定で1行の変更で切り替えられます。モデルギャラリーには、1クリックでインストールできる1,255以上のモデルがリストされています。すべての機能はCPUで最初に実行されるように設計されており、継続的インテグレーションでその方法でテストされており、GPUアクセラレーションはx86_64およびARM64ハードウェア上でCUDA、ROCm、SYCL、Metal、Vulkanを通じて利用可能です。
LocalAIは、その機能を6つの領域に整理しています：Reason（言語モデル、ツール呼び出し、構造化出力）、Listen（リアルタイム転写およびスピーカーダイアリゼーション）、Speak（音声合成および音声クローン）、See（視覚、検出、認識および深度推定）、Create（画像、動画、音楽および音声生成）、Act（エージェント、MCP接続、スキルおよびリトリーバー強化生成）。
リアルタイムモードは、WebRTC経由で音声をストリーミングし、会話中にツール呼び出しを実行し、音声を再ストリーミングします。これにより、チャットウィンドウではなく、ライブ会話のように感じられることを目指しています。Sensesと呼ばれる別の機能セットは、スピーカーラベル付きのライブ転写、約527種類の音イベントの検出、音声または顔認識を提供し、すべてローカルで、主にCPU上で実行されるように設計されています。
大規模な展開のために、LocalAIは分散ルーティング、VRAMを考慮したモデルの配置、プレフィックスキャッシュの親和性、NATSベースのフェデレーションを使用したマシン間のフェイルオーバーを追加します。これにより、クラスターはソフトウェアを再構成することなくハードウェアを追加することで成長できます。Ettore Di Giacintoによって構築され、llama.cppの著者Georgi Gerganovを含むオープンソースAIコミュニティの著名な人物によって公に注目されています。これは、単一のラップトップからGPUの部屋まで、自分のインフラストラクチャ上でAIワークロードを実行したい開発者や企業を対象とし、データを自分が制御するハードウェア上に保持します。
- カテゴリー機械学習プラットフォーム
- 料金モデルオープンソース
- デプロイセルフホスト, クラウド
- プラットフォームLinux, Windows, macOS
LocalAIの主要機能
OpenAI、Anthropic、Ollama、ElevenLabs互換のAPIを公開する単一のバイナリ
スワップ可能な推論バックエンド：llama.cpp、vLLM、SGLang、MLX
CIでテストされたCPUファースト設計、オプションのCUDA、ROCm、SYCL、Metal、Vulkanアクセラレーション
1,255以上のワンクリックインストール可能なモデルを持つモデルギャラリー
会話中のツール呼び出しを伴うWebRTC経由のリアルタイム音声モード
Senses機能：ライブ転写、音イベント検出、音声/顔認識
1つのランタイムでのテキスト、視覚、画像、動画、音楽、音声生成
MCP、スキル、リトリーバー強化生成を介したエージェントサポート
マシン間のVRAMを考慮したルーティングとフェイルオーバーを伴う分散クラスター
LocalAIの使い方は？
LocalAIをインストール：オペレーティングシステムとアーキテクチャに合わせた単一のバイナリまたはコンテナをダウンロードします。
モデルを選択：1,255以上のモデルの組み込みギャラリーから1クリックでインストールするモデルを選びます。
クライアントを指す：既存のOpenAI、Anthropic、Ollama、ElevenLabsクライアントをLocalAIのAPIに再指向します。
エンジンを選択：モデルの設定で、どのバックエンド（llama.cpp、vLLM、SGLang、MLX）で実行するかを設定します。
機能を追加：必要に応じて音声、視覚、画像、またはエージェント機能をオンにします。
スケールアウト：より多くのマシンを追加し、LocalAIのルーティングとフェイルオーバーに分散を処理させます。
LocalAIの使用例
- セルフホスト型チャットAPI
- ローカル音声アシスタント
- マルチモーダルローカルランタイム
- マルチマシンAIクラスター
