Descripción
Este completo informe de Epoch AI profundiza en los costos de entrenamiento en dólares de los sistemas de aprendizaje automático (ML), analizando datos de 124 sistemas de ML conocidos públicamente entre 2009 y 2022. El hallazgo principal indica una tasa de crecimiento sustancial de aproximadamente 0.49 órdenes de magnitud (OOM) por año en el costo de cómputo para las ejecuciones de entrenamiento finales.
Leer más
Se emplearon dos métodos principales de estimación: Método 1, que utiliza la tendencia general de precio-rendimiento de GPU, y Método 2, que utiliza el precio-rendimiento de GPUs NVIDIA reales utilizadas en el entrenamiento. El Método 1, analizando 124 sistemas, estimó una tasa de crecimiento de 0.51 OOM/año. El Método 2, con una muestra más pequeña de 48 sistemas, arrojó una tasa de crecimiento ligeramente menor de 0.44 OOM/año. Para sistemas de "gran escala", que representan aquellos que utilizan una cantidad desproporcionadamente grande de cómputo, la tasa de crecimiento fue significativamente más lenta, aproximadamente 0.2 OOM/año, lo que sugiere una posible desaceleración en la escalada de costos para los modelos de IA más avanzados.
El informe también explora las implicaciones de estas tendencias, incluidas las previsiones sobre cuándo el costo de cómputo para las ejecuciones de entrenamiento más costosas podría alcanzar umbrales económicos significativos, como el 1% del PIB de EE. UU. Una extrapolación ingenua sugiere que esto podría ocurrir para 2032, mientras que previsiones más ajustadas, considerando una posible desaceleración, apuntan a 2040. El estudio destaca la importancia de comprender estas tendencias de costos para pronosticar el progreso de la IA, identificar a los posibles desarrolladores de IA transformadora e informar estrategias económicas y de inversión más amplias dentro del panorama de la IA.
Se señalan advertencias clave, incluida la incertidumbre inherente en las estimaciones de costos, el enfoque exclusivo en el cómputo para las ejecuciones de entrenamiento finales y la distinción entre los costos internos de las empresas tecnológicas y los precios para el consumidor. La investigación también aborda los costos energéticos asociados con el entrenamiento, encontrando que son una fracción menor en comparación con los costos de hardware, y discute varios métodos para estimar estos costos, enfatizando la necesidad de datos sólidos y una cuidadosa consideración de las suposiciones.
- CategoríaOtras herramientas de IA
Aspectos destacados
Análisis de costos de entrenamiento en dólares para sistemas de ML (2009-2022)
Tasa de crecimiento anual estimada del costo de cómputo: ~0.49 OOM/año
Análisis separado para 'todos los sistemas' y sistemas de 'gran escala'
Comparación de dos métodos de estimación: tendencia general de GPU vs. hardware real
Previsiones de costos de entrenamiento futuros y umbrales económicos
Discusión de incertidumbres y limitaciones en la estimación de costos
Examen de costos energéticos en relación con costos de hardware
Conjunto de datos de 124 sistemas de ML hitos
Perspectivas sobre la economía del desarrollo e inversión en IA
Úsalo para
- Análisis de Costos de IA
- Pronóstico de Inversión en IA
- Planificación de Investigación en IA
- Evaluación de Impacto Económico
- Panorama Competitivo
