描述
Epoch AI 的这份综合报告深入探讨了机器学习 (ML) 系统的美元训练成本演变情况，分析了 2009 年至 2022 年间 124 个公开已知的 ML 系统的相关数据。主要发现表明，最终训练运行的计算成本每年约增长 0.49 个数量级 (OOM)。
采用了两种主要的估算方法：方法 1 使用整体 GPU 的价格-性能趋势，方法 2 利用实际用于训练的 NVIDIA GPU 的价格-性能。方法 1 分析了 124 个系统，估计年增长率为 0.51 个数量级/年。方法 2 的样本量较小，为 48 个系统，得出的年增长率略低，为 0.44 个数量级/年。对于“大规模”系统（即使用计算量不成比例大的系统），增长率显著放缓，约为 0.2 个数量级/年，这表明最先进的 AI 模型成本升级可能正在放缓。
报告还探讨了这些趋势的影响，包括对最昂贵的训练运行计算成本何时可能达到重要经济阈值（例如占美国 GDP 的 1%）的预测。粗略推断表明，这可能发生在 2032 年，而更调整后的预测（考虑到潜在的放缓）则指向 2040 年。该研究强调了理解这些成本趋势对于预测 AI 进展、识别颠覆性 AI 的潜在开发者以及为 AI 领域更广泛的经济和投资策略提供信息的重要性。
报告中提到了关键的注意事项，包括成本估算固有的不确定性、仅关注最终训练运行的计算成本，以及内部科技公司成本与消费者价格之间的区别。研究还触及了与训练相关的能源成本，发现其占硬件成本的比例较小，并讨论了估算这些成本的各种方法，强调需要可靠的数据和对假设的仔细考虑。
亮点
ML 系统美元训练成本分析 (2009-2022)
计算成本年增长率估算：约 0.49 个数量级/年
对“所有系统”和“大规模系统”的单独分析
两种估算方法的比较：整体 GPU 趋势 vs. 实际硬件
未来训练成本和经济阈值的预测
对成本估算中的不确定性和局限性的讨论
对能源成本与硬件成本相对比例的考察
124 个里程碑式 ML 系统的数据库
对 AI 开发和投资经济学的见解
适用场景
- AI 成本分析
- AI 投资预测
- AI 研究规划
- 经济影响评估
- 竞争格局
