説明
チンチラは、Google DeepMindによる70億パラメータの言語モデルで、2022年4月の論文「計算最適な大規模言語モデル訓練の実証分析」で紹介されました。これは、当時の多くの大規模言語モデルが訓練コンピュート予算に対して過剰であり、データに対して十分に訓練されていないという特定の発見をテストするために構築されました。
続きを読む
DeepMindは、固定されたコンピュート予算に対するモデルサイズと訓練データの最適なトレードオフを実証的に推定するために、さまざまなサイズとトークン数のモデルを訓練しました。この研究は、ゴファー（280億パラメータ）を訓練するために使用されたコンピュートで、4倍小さいモデルが4倍多くのデータで訓練されていれば、より良いパフォーマンスを発揮したであろうことを発見しました。チンチラは70億パラメータで1.3兆トークンで訓練されており、これを直接テストしています：ゴファーと同じトレーニングコンピュートを使用しながら、はるかに少ないパラメータを持っています。
結果は、チンチラがゴファー、GPT-3、メガトロン-チューリングNLGをほぼすべての測定されたベンチマークで上回ることを示しました。これには、質問応答のためのTriviaQA、常識推論のためのHellaSwag、PIQA、Winogrande、BoolQ、読解力のためのLAMBADA、一般知識のためのMMLUが含まれます。チンチラは70億パラメータでありながら、ゴファーの280億パラメータに対しても優れた性能を示しました。チンチラは小型であるため、ゴファーよりも推論時のコストが安く、速く実行できますが、両方のモデルの訓練コストは同じです。DeepMindは後に、スケーリング手法が、チンチラの後にリリースされた540億パラメータのモデルであるPaLMを訓練するために使用されたコンピュート予算に対して、3兆トークンで訓練された140億パラメータの最適モデルを予測することを示しました。
この論文は、分野に対するより広い教訓として位置づけられています。当時の主流のアプローチは、パラメータ数を増やしながら訓練データを約3000億トークンでほぼ固定することでした。この傾向は、ゴファーや530億パラメータのメガトロン-チューリングNLGのようなモデルに見られます。DeepMindの結果は、トランスフォーマーの訓練コストはパラメータ数だけでなく、モデルサイズとデータ量の両方によって駆動されるべきであると主張しています。
チンチラは、特定のコンピュート予算に対してモデルサイズと訓練データ量を天秤にかける必要がある大規模言語モデルの訓練を計画しているAI研究者や実務者を対象としており、チャット製品を求めるエンドユーザーを対象としていません。チンチラは、DeepMindのリリースポストと論文を通じて文書化されており、一般公開APIやダウンロード可能な重みを持つ製品として提供されていません。また、そのデータスケーリングアプローチは、後の大規模言語モデルがサイズと訓練データのバランスを取る方法に影響を与えています。
- カテゴリーAIモデルとLLM
チンチラのハイライト
1.3兆トークンで訓練された70億パラメータのトランスフォーマー
DeepMindの280億パラメータのゴファーモデルと同じコンピュート予算で訓練
テストされたほとんどのベンチマークでゴファー、GPT-3、メガトロン-チューリングNLGを上回る
質問応答（TriviaQA）、常識推論（HellaSwag、PIQA、Winogrande、BoolQ）、読解力（LAMBADA）、一般知識（MMLU）で評価
同等のコンピュートで訓練された大型モデルよりも低い推論時間とメモリコスト
計算最適なモデルサイズとトークン数を予測する実証的手法を導入
チンチラをはじめる
リリースポストを読む：DeepMindの計算最適な大規模言語モデル訓練に関する論文から始める。
スケーリング手法を確認する：DeepMindがモデルサイズとトークン数の最適なトレードオフをどのように推定したかを学ぶ。
ベンチマーク結果を比較する：チンチラのスコアをゴファー、GPT-3、メガトロン-チューリングNLGと比較する。
スケーリング法則を適用する：与えられた訓練予算に対してモデルサイズとトークン数を推定するために計算最適な手法を使用する。
チンチラの使用例
- 計算最適な訓練
- モデルベンチマーキング
- 効率的な推論
