説明
SmolLM3は、人工知能における小型モデルの能力を向上させるために開発された30億パラメータの言語モデルです。デュアルモード推論をサポートし、英語、フランス語、スペイン語、ドイツ語、イタリア語、ポルトガル語の6言語をネイティブにサポートする多言語対応です。このモデルは完全にオープンで、オープンウェイトと包括的なトレーニング詳細が提供されており、公開データの混合やトレーニング構成が含まれています。
SmolLM3のアーキテクチャは、GQAとNoPEを使用したデコーダー専用のトランスフォーマーで、3:1の比率です。ウェブ、コード、数学、推論データを含む段階的カリキュラムを使用して、112兆トークンで事前トレーニングされました。トレーニング後は、1400億の推論トークンでの中間トレーニングを行い、その後、監視付きファインチューニングとAnchored Preference Optimization (APO)による整合性を確保しました。
SmolLM3はハイブリッド推論に最適化されており、64kコンテキストでトレーニングされ、YARN外挿を使用して最大128kトークンを処理する能力があります。このモデルはvLLMおよびSGLangを使用してデプロイ可能で、OpenAIフォーマットのAPIと互換性があります。また、ツール呼び出しをサポートしており、XMLまたはPython関数呼び出しを介してさまざまなツールと統合できます。
ローカル推論のために、SmolLM3はllama.cpp、ONNX、MLX、MLC、ExecuTorchと共に使用できます。効率的なデプロイのために量子化されたチェックポイントが利用可能です。このモデルのパフォーマンスはさまざまなベンチマークで評価されており、多言語Q&A、競技プログラミング、指示に従うタスクで強力な結果を示しています。
SmolLM3は、多言語および複雑な推論タスクのためにAIを活用しようとする開発者や研究者にとって貴重なツールです。ただし、生成されたコンテンツは常に事実に基づいているわけではなく、トレーニングデータに存在するバイアスから自由でない可能性があることに注意する必要があります。
SmolLM3 言語モデルのハイライト
30億パラメータの言語モデル
デュアルモード推論をサポート
多言語対応：6言語
最大128kトークンの長いコンテキスト処理
オープンモデルでオープンウェイト
ハイブリッド推論に最適化された指示モデル
ツール呼び出しのサポート
vLLMおよびSGLangと互換性
SmolLM3 言語モデルをはじめる
ページにアクセス：Hugging Faceモデルページを訪問
モデルをロード：transformers v4.53.0または最新のvllmを使用
環境を設定：サンプリングパラメータとコンテキストの長さを設定
統合：XMLまたはPython関数を使用してツール呼び出しを行う
ファインチューニング：監視付きファインチューニングと整合性を適用
SmolLM3 言語モデルの使用例
- 多言語Q&A
- ハイブリッド推論
- ツール統合
- 長いコンテキスト処理
- 指示に従う
