説明
BLOOMは、BigScienceによって開発された自動回帰型大規模言語モデル（LLM）であり、オープンソースとオープンサイエンスを通じて人工知能の進展と民主化を目指しています。2022年7月11日にリリースされたこのモデルは、46の自然言語と13のプログラミング言語で一貫したテキストを生成する能力を持ち、自然言語処理におけるさまざまなアプリケーションに対応する多用途なツールです。
BLOOMのアーキテクチャは、Megatron-LM GPT2から修正されたトランスフォーマーモデルに基づいています。1760億のパラメータを持ち、70層と112のアテンションヘッドを備えており、テキストを効果的に処理・生成することができます。このモデルは、3500億のユニークトークンを含む1.6TBの前処理されたテキストの大規模データセットで訓練されました。この広範な訓練により、BLOOMは情報抽出、質問応答、要約などのテキスト生成タスクを実行でき、明示的に訓練されていないタスクでも対応可能です。
BLOOMは、大規模言語モデルに関する公共の研究を目的としており、研究者、教育者、開発者がアクセスできるようになっています。Hugging Faceのエコシステムを使用してアプリケーションに簡単に統合でき、transformersとaccelerateのインストールが必要です。モデルの対象ユーザーには一般の人々、研究者、学生、エンジニアなどが含まれます。ただし、モデルは高リスクの環境や重要な意思決定には使用すべきではなく、事実のように見えるが誤っている出力を生成する可能性があることに注意が必要です。
BLOOMの訓練は、Jean Zay Public Supercomputerで384のA100 80GB GPUを使用して行われ、フランス政府によって資金提供されました。訓練プロセスの環境への影響は、核エネルギーの使用によって軽減され、生成された熱はキャンパスの住宅に再利用されています。全体として、BLOOMはAIの分野における重要な前進を示しており、言語生成と研究のための強力なツールを提供しています。
bigscience/bloomのハイライト
モデルタイプ: トランスフォーマーベースの言語モデル
パラメータ: 176B
対応言語: 46の自然言語、13のプログラミング言語
ライセンス: RAIL License v1.0
リリース日: 2022年7月11日
訓練データサイズ: 1.6TB
訓練トークン: 350Bのユニークトークン
コンピュートインフラ: Jean Zay Public Supercomputer
bigscience/bloomをはじめる
アクセスページ: Hugging FaceのBLOOMのウェブサイトを訪問します。
モデルの読み込み: Hugging Faceのtransformersライブラリを使用してBLOOMモデルをダウンロードします。
環境の設定: transformersとaccelerateが環境にインストールされていることを確認します。
統合: 必要に応じてテキスト生成タスクにモデルを使用します。
ファインチューニング: 特定のアプリケーションに対してモデルをオプションでファインチューニングします。
bigscience/bloomの使用例
- テキスト生成
- 情報抽出
- 質問応答
- 要約
- 言語研究
