説明
MiniCPM5-2Bは、MiniCPM5シリーズの2番目のモデルで、MiniCPM5-1Bに続きます。これは、デバイス上でのローカル展開とリソース制約のあるシナリオ向けに構築された密な2Bトランスフォーマーモデルです。このモデルは、同じトレーニングレシピをスケールアップし、2Bクラスのオープンソースモデルの中で最先端(SOTA)の性能を達成します。特にコーディング、数学、長文理解、ツール使用、エージェントタスクなどの分野で、より大きな4Bクラスのモデルと競争力を保っています。
続きを読む
このモデルは、UltraDataファミリーからの高品質なデータセットを使用してトレーニングされており、ウェブの事前トレーニングにはUltraX、コーディング機能にはUltraData-Code、エージェントトレーニングにはUltraData-SFT-Agent-2609、強化学習にはUltraData-RL-2609が含まれています。これらのデータセットは、モデルの包括的な能力に寄与し、ローカルアシスタント、コーディングエージェント、推論シナリオなど、さまざまなアプリケーションに適しています。
MiniCPM5-2Bは、2,516,756,480のパラメータ、42層、131,072のコンテキスト長を持つ標準的なLlamaForCausalLMアーキテクチャを採用しています。小さな展開フットプリントを維持しながら、ネイティブの長文サポートを提供するように設計されています。モデルのトレーニングは、基礎トレーニング、中間トレーニング、ポストトレーニングの各段階をカバーするUltraData階層データ管理のフルスタックプラクティスを含みます。
ポストトレーニング中、モデルは監視付きファインチューニング(SFT)、強化学習(RL)、およびオンポリシーディスティレーション(OPD)を経て、さらなる能力向上を図ります。RL + OPDは、モデルの推論能力と一般的な能力を大幅に向上させ、16の専門モデルの専門知識を1つのリリースモデルに統合します。
MiniCPM5-2Bは、BF16、GGUF、MLXなど、さまざまな展開シナリオに適した形式で提供されます。Transformers、vLLM、SGLang、llama.cppなど、複数のバックエンドをサポートし、さまざまなプラットフォームやデバイスでの柔軟な展開を可能にします。このモデルはApache-2.0ライセンスの下でリリースされており、オープンアクセスとコラボレーションを保証しています。
- カテゴリーAIモデルとLLM
MiniCPM5-2Bのハイライト
密な2Bトランスフォーマーモデル
デバイス上での展開
リソース制約のあるシナリオ
最先端の性能
高品質なトレーニングデータセット
標準的なLlamaForCausalLMアーキテクチャ
ネイティブの長文サポート
UltraData階層データ管理
MiniCPM5-2Bをはじめる
モデルページにアクセス: Hugging Faceのモデルページを訪問
認証: Hugging Faceアカウントにログイン
設定: モデルのパラメータと環境を設定
プロンプトを送信: 特定のタスクにモデルを使用
ファインチューニング: 専門的なアプリケーション向けにモデルを調整
MiniCPM5-2Bの使用例
- ローカルアシスタント
- コーディングエージェント
- ツール使用ワークフロー
- 推論シナリオ
- エージェントタスク










