Description
Ce rapport complet d'Epoch AI se penche sur l'évolution des coûts d'entraînement en dollars des systèmes d'apprentissage automatique (ML), en analysant les données de 124 systèmes ML publiquement connus entre 2009 et 2022. La principale conclusion indique un taux de croissance substantiel d'environ 0,49 ordre de grandeur (OOM) par an dans le coût du calcul pour les entraînements finaux.
Lire la suite
Deux méthodes d'estimation principales ont été employées : la Méthode 1, qui utilise la tendance globale du rapport prix-performance des GPU, et la Méthode 2, qui utilise le rapport prix-performance des GPU NVIDIA réels utilisés pour l'entraînement. La Méthode 1, analysant 124 systèmes, a estimé un taux de croissance de 0,51 OOM/an. La Méthode 2, avec un échantillon plus petit de 48 systèmes, a donné un taux de croissance légèrement inférieur de 0,44 OOM/an. Pour les systèmes "à grande échelle", qui représentent ceux qui utilisent une quantité de calcul disproportionnellement importante, le taux de croissance s'est avéré significativement plus lent, à environ 0,2 OOM/an, suggérant un ralentissement potentiel de l'escalade des coûts pour les modèles d'IA les plus avancés.
Le rapport explore également les implications de ces tendances, y compris les prévisions sur le moment où le coût du calcul pour les entraînements les plus coûteux pourrait atteindre des seuils économiques importants, tels que 1 % du PIB américain. Une extrapolation naïve suggère que cela pourrait se produire d'ici 2032, tandis que des prévisions plus ajustées, tenant compte d'un ralentissement potentiel, pointent vers 2040. L'étude souligne l'importance de comprendre ces tendances de coûts pour prévoir les progrès de l'IA, identifier les développeurs potentiels d'IA transformatrice et éclairer les stratégies économiques et d'investissement plus larges dans le paysage de l'IA.
Les principales mises en garde sont notées, y compris l'incertitude inhérente aux estimations de coûts, la focalisation uniquement sur le calcul pour les entraînements finaux, et la distinction entre les coûts internes des entreprises technologiques et les prix pour les consommateurs. La recherche aborde également les coûts énergétiques associés à l'entraînement, constatant qu'ils représentent une fraction plus petite par rapport aux coûts matériels, et discute de diverses méthodes pour estimer ces coûts, soulignant la nécessité de données robustes et d'une prise en compte minutieuse des hypothèses.
- CatégorieAutres outils IA
Points forts
Analyse des coûts d'entraînement en dollars pour les systèmes ML (2009-2022)
Taux de croissance annuel estimé du coût du calcul : ~0,49 OOM/an
Analyse distincte pour "tous les systèmes" et les systèmes "à grande échelle"
Comparaison de deux méthodes d'estimation : tendance générale des GPU vs matériel réel
Prévisions des coûts d'entraînement futurs et des seuils économiques
Discussion des incertitudes et des limites de l'estimation des coûts
Examen des coûts énergétiques par rapport aux coûts matériels
Ensemble de données de 124 systèmes ML marquants
Aperçus sur l'économie du développement et de l'investissement en IA
À utiliser pour
- Analyse des coûts de l'IA
- Prévision des investissements en IA
- Planification de la recherche en IA
- Évaluation de l'impact économique
- Paysage concurrentiel
