説明
Meta AIは、公開されているデータセットで学習された1750億パラメータのモデルであるOPT-175Bを公開することで、大規模言語モデルへのアクセスを民主化しています。この取り組みは、これまでリソースが豊富な研究室に限定されていたアクセスを超え、基盤となる新しいAI技術の理解におけるコミュニティの関与を広げることを目的としています。事前学習済みモデルと必要なトレーニングコードの両方を提供することにより、OPT-175Bは、世界中の学術研究者、市民社会、政策立案者、および産業研究ラボが、再現可能な研究を実施し、分野を共同で進歩させることを可能にします。
このリリースは、オープンサイエンスと責任あるAI開発へのコミットメントに支えられています。Meta AIは、日々のトレーニング、コンピューティング使用量、および人的オーバーヘッドの完全なログブックを含む、開発プロセスの詳細なドキュメントを共有しています。この透明性により、他の研究者は彼らの作業を基盤とし、共有モデルで定量化可能なメトリクスを使用して潜在的な危害を分析することができます。OPT-175Bは、MetaのオープンソースFully Sharded Data Parallel (FSDP) APIと、Megatron-LM内のNVIDIAのテンソル並列抽象化を使用してトレーニングされ、GPT-3の1/7のカーボンフットプリントで大幅なエネルギー効率を達成しました。
OPT-175Bに加えて、Meta AIは、スケール効果の研究を容易にするために、同じデータで同様の設定を使用してトレーニングされた、より小規模なベースラインモデルのスイートもリリースしています。これらには、1億2500万から300億までのパラメータ数を持つモデルが含まれます。このリリースは非商用ライセンスによって管理されており、研究ユースケースを優先し、誤用を防ぐことを目指しています。倫理的考慮事項の定義に関与する声の多様性を増やすことにより、Meta AIは責任あるAI開発の進歩を推進し、大規模言語モデルの明確なガイドラインを確立したいと考えています。
このオープンなコラボレーションは、AI研究が進歩するために不可欠であり、科学コミュニティが最先端モデルの可能性を探求すると同時に、脆弱性を調査することを可能にします。OPT-175Bとその関連リソースのリリースは、より多くの視点を大規模言語モデル作成の最前線にもたらし、責任あるリリース戦略の設計を支援し、この分野に前例のないレベルの透明性をもたらすことを目指しています。
OPT-175Bのハイライト
1750億パラメータ
公開されているデータセットで学習済み
事前学習済みモデルとトレーニングコードを含む
研究用途の非商用ライセンス
学術研究者および関連組織へのアクセス許可
開発プロセスの詳細なドキュメント
トレーニングプロセスの完全なログブック
危害分析のための定量化可能なメトリクス
エネルギー効率の高いトレーニング方法論
小規模ベースラインモデルのスイートをリリース
再現可能な研究を促進
責任あるAI開発を推進
LLM開発における透明性を向上
OPT-175Bをはじめる
アクセスをリクエストする: OPT-175Bへのアクセスリクエストを送信します。
コードをダウンロードする: トレーニングとデプロイメントのためのオープンソースコードにアクセスします。
モデルを取得する: 小規模なベースラインモデルをダウンロードします。
環境をセットアップする: 必要なライブラリで研究環境を準備します。
モデルを統合する: 研究タスクのためにOPT-175Bモデルをロードして使用します。
結果を分析する: 実験を実施し、モデルの動作と出力を分析します。
研究に貢献する: 結果を共有し、より広範なAIコミュニティに貢献します。
OPT-175Bの使用例
- NLP研究
- バイアスの軽減
- モデルの解釈可能性
- 責任あるAI
- 再現可能な科学
- テキスト生成
- AI倫理
