説明
smolmaxxingは、できるだけ小型のデバイス上で大規模言語モデル(LLM)を実行する限界を押し広げることに専念したオープンソースのGitHubリポジトリです。このプロジェクトの核心的な使命は、スマートフォン、タブレット、スマートTVボックスなど、通常はそのようなタスクに対してパワー不足と見なされるハードウェア上で、さまざまなLLMを効率的に展開および実行する能力を最大化することです。
続きを読む
リポジトリには、ベンチマーク、データ、ドキュメント、ツールを含む包括的なリソースのコレクションが含まれています。OnePlusのスマートフォンやXiaomi TV Box Sなどの特定のデバイス上で実行されるQwen3-Next-80B-A3BやQwen3.6-35B-A3Bなど、さまざまなLLMのパフォーマンスメトリックを示しています。このプロジェクトは、260Kから9Bパラメータのモデルをこれらのコンパクトなデバイス上で実行する実現可能性を示すために、トークン毎秒(tok/s)のパフォーマンスを綿密に追跡しています。
smolmaxxingは、資産、ベンチマーク、データ、ドキュメントのための専用ディレクトリを持つ構造化された実験アプローチを提供します。最適化プロセスを促進するためのパッチやツールが含まれており、プロジェクトの進捗を示すスクリーンショットもあります。`README.md`ファイルは、サイズクラスごとの最高パフォーマンスモデルのスコアボードやHugging Faceにホストされているモデルへのリンクを特徴とする中心的なハブとして機能します。
このプロジェクトは、エッジAI、デバイス上の機械学習、低電力環境でのLLM推論の最適化に興味のある開発者、研究者、愛好者に最適です。複数の開発者からの貢献を促進し、デバイスのベンチマークやコードの改善を提出したい人のための`CONTRIBUTING.md`ガイドも含まれています。`LICENSE`ファイルはMITライセンスを示しており、オープンな使用と改変を促進しています。
- カテゴリーMLOps・モデルデプロイ
- 料金モデルオープンソース
- デプロイクラウド, セルフホスト
- プラットフォームWeb
smolmaxxingの主要機能
小型デバイス上での最適化されたLLM推論
多様なハードウェア上でのさまざまなLLMのベンチマーク
260Kから9Bパラメータのモデルのサポート
パフォーマンス追跡(トークン毎秒)
デバイス特有の最適化に関するドキュメント
LLM展開のためのツールとパッチ
最高パフォーマンスモデルのスコアボード
Hugging Faceモデルへのリンク
コミュニティの貢献と問題フォーム
オープンソース使用のためのMITライセンス
スマートフォン、iPad、TVボックスの例
継続的な研究と開発のためのリポジトリ
smolmaxxingをはじめる
リポジトリをクローン: `git clone`を使用して、smolmaxxingプロジェクトをローカルマシンに取得します。
ドキュメントを探索: `docs/`ディレクトリと`README.md`を確認して、プロジェクトの概要、デバイスの詳細、およびセットアップ手順を確認します。
ベンチマークを確認: `bench/`および`data/`ディレクトリを調べて、さまざまな小型デバイス上での既存のLLMパフォーマンスを理解します。
依存関係をインストール: ターゲットデバイス上でLLMを実行するために必要なライブラリやツールを特定してインストールします。
パッチ/ツールを適用: `patches/`および`tools/`ディレクトリから提供されたパッチやツールを利用して、LLMの実行を最適化します。
実験を実行: `EXPERIMENT.md`のガイドラインに従って、小型デバイス上で独自のLLM推論テストを実施します。
結果を貢献: `Submit your device`問題フォームまたは`CONTRIBUTING.md`を使用して、結果やコードの改善を共有します。
smolmaxxingの使用例
- エッジAI開発
- デバイス上のLLM推論
- パフォーマンスベンチマーキング
- リソース制約のあるAI
- IoTデバイス向けのAI
- モバイルAIアプリケーション








