説明
Epoch AIによるこの包括的なレポートは、機械学習（ML）システムのトレーニングコスト（ドル建て）の進化を深く掘り下げ、2009年から2022年までの公に知られている124のMLシステムからのデータを分析しています。主な発見は、最終的なトレーニング実行におけるコンピューティングコストが、年間約0.49オーダー（OOM）で大幅に成長していることを示しています。
続きを読む
2つの主要な推定方法が採用されました。方法1は、GPU全体の価格性能トレンドを使用し、方法2は、トレーニングに使用される実際のNVIDIA GPUの価格性能を利用します。方法1では、124システムを分析し、年間0.51 OOMの成長率を推定しました。方法2では、48システムというより小規模なサンプルで、年間0.44 OOMというわずかに低い成長率が得られました。「大規模」システム、すなわち計算リソースを不均衡に多く使用するシステムでは、成長率は年間約0.2 OOMと著しく遅く、最先端のAIモデルのコスト増大の潜在的な減速を示唆しています。
本レポートは、最も高価なトレーニング実行にかかるコンピューティングコストが、米国のGDPの1%といった重要な経済的しきい値に達する時期の予測を含む、これらのトレンドの影響についても探求しています。単純な外挿では2032年までに起こりうることを示唆していますが、潜在的な減速を考慮したより調整された予測では、2040年を指しています。この研究は、AIの進歩を予測し、変革的なAIの開発者候補を特定し、AI分野におけるより広範な経済および投資戦略に情報を提供する上で、これらのコストトレンドを理解することの重要性を強調しています。
コスト推定における固有の不確実性、最終トレーニング実行のコンピューティングのみに焦点を当てていること、内部テック企業コストと消費者価格との区別など、重要な注意点が挙げられています。また、トレーニングに関連するエネルギーコストについても触れており、ハードウェアコストと比較してその割合は小さいことが判明しており、これらのコストを推定するための様々な方法について議論し、堅牢なデータと仮定の慎重な検討の必要性を強調しています。
- カテゴリーその他のAIツール
ハイライト
MLシステムのトレーニングコスト（ドル建て）の分析（2009-2022年）
コンピューティングコストの年間推定成長率：約0.49 OOM/年
「全システム」と「大規模システム」の別個の分析
2つの推定方法の比較：GPU全体トレンド対実際のハードウェア
将来のトレーニングコストと経済的しきい値の予測
コスト推定における不確実性と限界に関する議論
ハードウェアコストに対するエネルギーコストの検討
124の画期的なMLシステムのデータセット
AI開発と投資の経済性に関する洞察
活用シーン
- AIコスト分析
- AI投資予測
- AI研究計画
- 経済的影響評価
- 競合環境
