説明
Gopherは、Google DeepMindによる2800億パラメータのトランスフォーマー言語モデルで、チームが訓練したモデルファミリーの中で最大のもので、4400万から2800億パラメータまでの範囲にわたります。2021年12月に、言語モデルの倫理的および社会的リスクに関する論文と、RETROというリトリーバル強化トレーニングアーキテクチャを提案する論文とともに紹介されました。
続きを読む
DeepMindは、モデルファミリーを訓練して、スケールの増加が言語モデルのパフォーマンスにどのように寄与するか、または寄与しないかを研究しました。Gopherは、従来の研究と比較して、Massive Multitask Language Understanding (MMLU) ベンチマークにおいて人間の専門家のパフォーマンスに大きく近づき、読解力、ファクトチェック、毒性言語の識別などのタスクでスケールの恩恵を示しました。しかし、論理的推論や常識的なタスクにおいては、スケールは意味のあるパフォーマンス向上をもたらしませんでした。
ベンチマークスコアを超えて、DeepMindはGopherを直接対話形式で探求しました。対話形式で促された際、モデルは時折、細胞生物学などのトピックについて驚くほど一貫した議論を行い、正確な引用を行うことができましたが、対話特有のファインチューニングは行われていませんでした。研究では、モデルサイズに関わらず持続する失敗モードも文書化されました：自己反復、ステレオタイプバイアスの反映、根拠のない自信を持って誤った情報を述べる傾向です。
リリースの伴奏論文は、言語モデルの倫理的および社会的リスクの分類法を構築し、6つのテーマ領域と21のリスクを深く掘り下げてカバーし、これらの問題を評価し軽減するための基盤を提供することを目的としています。2つ目の伴奏論文では、生成中にテキストのパッセージをクエリするRETROを紹介し、トレーニングエネルギーコストを削減し、出力をソースパッセージに追跡できるようにし、はるかに少ないパラメータでより大きな標準トランスフォーマーのパフォーマンスに匹敵することを可能にしました。
Gopherは、言語モデルのスケーリング、評価、安全性を研究するAI研究者を対象としています。これは、公共のAPIやダウンロード可能な重みを持つ製品ではなく、DeepMindのブログ投稿や論文を通じて文書化された研究リリースであり、DeepMindは後にGopherのトレーニング計算コストを、よりデータ効率の良い後継モデルであるChinchillaの開発のための基準点として使用しました。
- カテゴリーAIモデルとLLM
- デプロイクラウド
- プラットフォームWeb
Gopherのハイライト
2800億パラメータのトランスフォーマー言語モデルで、4400万から2800億パラメータのファミリーの一部
Massive Multitask Language Understanding (MMLU) ベンチマークでのパフォーマンス向上
読解力、ファクトチェック、毒性言語の識別を含むベンチマークで評価
対話特有のファインチューニングなしで技術的トピックに関する一貫した引用付きの対話を維持可能
モデルサイズにわたる失敗モードを文書化：自己反復、ステレオタイプバイアス、根拠のない自信を持った誤情報の提示
言語モデルにおける倫理的および社会的リスクの分類法とともにリリースされ、6つのテーマで21のリスクをカバー
トレーニングエネルギーコストを低減したリトリーバル強化アーキテクチャRETROの伴奏
Gopherをはじめる
リリース投稿を読む：Gopherとその2つの伴奏論文を紹介するDeepMindのブログ投稿から始めます。
ベンチマーク結果を確認する：GopherのMMLU、読解力、毒性言語タスクにおけるスコアをファミリー内の小型モデルと比較します。
リスク分類法を読む：文書化された失敗モードを理解するために、倫理的および社会的リスクに関する伴奏論文を確認します。
RETROと比較する：Gopherとともにリリースされたリトリーバル強化アプローチについて読む。
Gopherの使用例
- モデルスケール研究
- 言語モデルリスク評価
- リトリーバル強化モデリング
