説明
HRM-Text-1Bは、Sapient Intelligenceによって開発された洗練された言語モデルで、10億パラメータのアーキテクチャを特徴としています。これは、階層的推論モデル(HRM)アーキテクチャに基づいており、二重時間スケール再帰設計を採用しています。この設計は、高レベルと低レベルの2つのTransformerモジュールを統合し、複数のサイクルにわたって入力埋め込みを処理することを可能にし、パラメータ数を制限しながら無限の計算深度を維持します。
続きを読む
このモデルは、条件プレフィックストークンを用いたPrefixLM目的で事前トレーニングされており、分類、抽出、構造化出力などのさまざまなNLPタスクに適しています。ただし、HRM-Text-1Bは事前アラインメントモデルチェックポイントであり、チャットや指示に従うタスクには最適化されていないことに注意が必要です。このようなアプリケーションに興味があるユーザーは、タスク特有のデータに対して、監視付きファインチューニング(SFT)や強化学習(RL)などのさらなるアラインメントを実施する必要があります。
HRM-Text-1Bは、NLPタスクのための少数ショット例を用いた直接条件や、推論および数学タスクのための複合条件を含むさまざまなプロンプティング技術をサポートしています。モデルのアーキテクチャには、ゲーテッドアテンション、RoPE位置エンコーディング、SwiGLU活性化などの機能が含まれており、タスク全体で堅牢なパフォーマンスを確保しています。
このモデルは主に英語のテキストコーパスでトレーニングされていますが、サードパーティの実験を通じてコーディングタスクへの適応の可能性を示しています。ただし、ユーザーは出力における潜在的なバイアスや不正確さを含む制限に注意する必要があります。HRM-Text-1BはApache License 2.0の下でオープンソースであり、さらなる研究と開発を奨励しています。
- カテゴリーAIモデルとLLM
- 料金モデルオープンソース
- デプロイクラウド
- プラットフォームWeb
HRM-Text-1Bのハイライト
10億パラメータ
階層的推論モデルアーキテクチャ
二重時間スケール再帰設計
PrefixLM目的の事前トレーニング
ゲーテッドアテンションメカニズム
RoPE位置エンコーディング
SwiGLU活性化
Apache License 2.0の下でオープンソース
HRM-Text-1Bをはじめる
モデルページにアクセス: HRM-Text-1BのHugging Faceモデルページを訪問します。
認証: Hugging Faceアカウントにログインします。
設定: 必要なtransformersバージョンでモデルを設定します。
プロンプトを送信: タスクに適したプロンプティング技術を使用します。
ファインチューニング: 特定のアプリケーションのために追加のアラインメントを実施します。
HRM-Text-1Bの使用例
- NLP分類
- データ抽出
- 推論タスク
- 短文QA
- オープンエンド生成









