Descrição
Este relatório abrangente da Epoch AI investiga os custos de treinamento em dólares em evolução dos sistemas de aprendizado de máquina (ML), analisando dados de 124 sistemas de ML conhecidos publicamente entre 2009 e 2022. A principal descoberta indica uma taxa de crescimento substancial de aproximadamente 0,49 ordens de magnitude (OOM) por ano no custo de computação para execuções de treinamento final.
Ler mais
Dois métodos primários de estimativa foram empregados: Método 1, que usa a tendência geral de preço-desempenho de GPU, e Método 2, que utiliza o preço-desempenho de GPUs NVIDIA reais usadas no treinamento. O Método 1, analisando 124 sistemas, estimou uma taxa de crescimento de 0,51 OOMs/ano. O Método 2, com uma amostra menor de 48 sistemas, produziu uma taxa de crescimento ligeiramente menor de 0,44 OOMs/ano. Para sistemas "em larga escala", que representam aqueles que usam uma quantidade desproporcionalmente grande de computação, a taxa de crescimento foi significativamente mais lenta, em aproximadamente 0,2 OOMs/ano, sugerindo uma desaceleração potencial na escalada de custos para os modelos de IA mais avançados.
O relatório também explora as implicações dessas tendências, incluindo previsões para quando o custo de computação para as execuções de treinamento mais caras poderá atingir limiares econômicos significativos, como 1% do PIB dos EUA. Uma extrapolação ingênua sugere que isso pode ocorrer até 2032, enquanto previsões mais ajustadas, considerando uma desaceleração potencial, apontam para 2040. O estudo destaca a importância de entender essas tendências de custo para prever o progresso da IA, identificar potenciais desenvolvedores de IA transformadora e informar estratégias econômicas e de investimento mais amplas no cenário da IA.
Observam-se ressalvas importantes, incluindo a incerteza inerente nas estimativas de custo, o foco apenas na computação para execuções de treinamento final e a distinção entre custos internos de empresas de tecnologia e preços ao consumidor. A pesquisa também aborda os custos de energia associados ao treinamento, descobrindo que eles representam uma fração menor em comparação com os custos de hardware, e discute vários métodos para estimar esses custos, enfatizando a necessidade de dados robustos e consideração cuidadosa das premissas.
- CategoriaOutras ferramentas de IA
Destaques
Análise dos custos de treinamento em dólares para sistemas de ML (2009-2022)
Taxa de crescimento anual estimada do custo de computação: ~0,49 OOM/ano
Análise separada para 'todos os sistemas' e 'sistemas em larga escala'
Comparação de dois métodos de estimativa: tendência geral de GPU vs. hardware real
Previsões para custos futuros de treinamento e limiares econômicos
Discussão de incertezas e limitações na estimativa de custos
Exame dos custos de energia em relação aos custos de hardware
Conjunto de dados de 124 sistemas de ML marcos
Insights sobre a economia do desenvolvimento e investimento em IA
Use para
- Análise de Custo de IA
- Previsão de Investimento em IA
- Planejamento de Pesquisa em IA
- Avaliação de Impacto Econômico
- Cenário Competitivo
