Описание
Этот всеобъемлющий отчет от Epoch AI посвящен эволюции долларовых затрат на обучение систем машинного обучения (ML), анализируя данные из 124 общеизвестных систем ML за период с 2009 по 2022 год. Основной вывод указывает на существенный темп роста примерно в 0,49 порядка величины (OOM) в год стоимости вычислений для финальных этапов обучения.
Читать далее
Были использованы два основных метода оценки: Метод 1, который использует общую тенденцию соотношения цены и производительности GPU, и Метод 2, который использует соотношение цены и производительности реальных GPU NVIDIA, используемых при обучении. Метод 1, анализируя 124 системы, оценил темп роста в 0,51 OOM/год. Метод 2, с меньшей выборкой из 48 систем, дал несколько более низкий темп роста в 0,44 OOM/год. Для «крупномасштабных» систем, которые представляют собой системы, использующие непропорционально большое количество вычислительных ресурсов, темп роста оказался значительно ниже, примерно 0,2 OOM/год, что предполагает потенциальное замедление эскалации затрат для самых передовых моделей ИИ.
В отчете также рассматриваются последствия этих тенденций, включая прогнозы относительно того, когда стоимость вычислений для самых дорогих этапов обучения может достичь значительных экономических порогов, таких как 1% ВВП США. Наивное экстраполирование предполагает, что это может произойти к 2032 году, в то время как более скорректированные прогнозы, учитывающие возможное замедление, указывают на 2040 год. Исследование подчеркивает важность понимания этих тенденций затрат для прогнозирования прогресса в области ИИ, выявления потенциальных разработчиков трансформационного ИИ и информирования более широких экономических и инвестиционных стратегий в ландшафте ИИ.
Отмечаются ключевые оговорки, включая присущую неопределенность в оценках затрат, сосредоточенность исключительно на вычислениях для финальных этапов обучения и различие между внутренними затратами технологических компаний и потребительскими ценами. Исследование также затрагивает затраты на энергию, связанные с обучением, обнаруживая, что они составляют меньшую долю по сравнению с затратами на оборудование, и обсуждает различные методы оценки этих затрат, подчеркивая необходимость надежных данных и тщательного рассмотрения предположений.
- КатегорияДругие ИИ-инструменты
Основное
Анализ долларовых затрат на обучение систем ML (2009-2022)
Оценочный годовой темп роста стоимости вычислений: ~0,49 OOM/год
Отдельный анализ для «всех систем» и «крупномасштабных» систем
Сравнение двух методов оценки: общий тренд GPU против реального оборудования
Прогнозы будущих затрат на обучение и экономических порогов
Обсуждение неопределенностей и ограничений в оценке затрат
Изучение затрат на энергию по сравнению с затратами на оборудование
Набор данных из 124 знаковых систем ML
Представления об экономике разработки и инвестиций в ИИ
Для чего использовать
- Анализ затрат на ИИ
- Прогнозирование инвестиций в ИИ
- Планирование исследований в области ИИ
- Оценка экономического воздействия
- Конкурентная среда
