설명
Epoch AI의 이 포괄적인 보고서는 2009년부터 2022년까지 공개적으로 알려진 124개의 ML 시스템 데이터를 분석하여 머신러닝(ML) 시스템의 변화하는 달러 훈련 비용을 심층적으로 다룹니다. 주요 결과는 최종 훈련 실행을 위한 컴퓨팅 비용이 연간 약 0.49 오더만큼(OOM) 성장했다는 것을 나타냅니다.
더 읽기
두 가지 주요 추정 방법이 사용되었습니다. 방법 1은 전반적인 GPU 가격 대비 성능 추세를 사용하고, 방법 2는 훈련에 사용된 실제 NVIDIA GPU의 가격 대비 성능을 활용합니다. 124개 시스템을 분석한 방법 1은 연간 0.51 OOM의 성장률을 추정했습니다. 48개 시스템의 더 작은 표본을 사용한 방법 2는 연간 0.44 OOM의 약간 낮은 성장률을 보였습니다. 컴퓨팅 자원을 불균형적으로 많이 사용하는 '대규모' 시스템의 경우, 성장률이 연간 약 0.2 OOM으로 훨씬 느리게 나타나, 가장 발전된 AI 모델의 비용 상승이 잠재적으로 둔화될 수 있음을 시사합니다.
이 보고서는 또한 이러한 추세의 함의를 탐구하며, 가장 비싼 훈련 실행을 위한 컴퓨팅 비용이 미국 GDP의 1%와 같은 중요한 경제적 임계값에 도달할 시점에 대한 예측을 포함합니다. 단순 외삽은 2032년까지 발생할 수 있음을 시사하는 반면, 잠재적 둔화를 고려한 보다 조정된 예측은 2040년을 가리킵니다. 이 연구는 AI 발전 예측, 혁신적인 AI 개발자 식별, AI 환경 내에서의 광범위한 경제 및 투자 전략 수립을 위해 이러한 비용 추세를 이해하는 것의 중요성을 강조합니다.
비용 추정의 내재된 불확실성, 최종 훈련 실행을 위한 컴퓨팅에만 초점을 맞춘 점, 내부 기술 기업 비용과 소비자 가격의 구별 등 주요 주의사항이 언급됩니다. 또한 연구는 훈련과 관련된 에너지 비용을 다루며, 하드웨어 비용에 비해 작은 부분을 차지한다고 보고, 이러한 비용을 추정하는 다양한 방법을 논의하며 강력한 데이터와 신중한 가정 고려의 필요성을 강조합니다.
- 카테고리기타 AI 도구
하이라이트
ML 시스템 달러 훈련 비용 분석 (2009-2022)
추정 연간 컴퓨팅 비용 성장률: 약 0.49 OOM/년
'모든 시스템' 및 '대규모 시스템'에 대한 별도 분석
두 가지 추정 방법 비교: 전반적인 GPU 추세 vs. 실제 하드웨어
향후 훈련 비용 및 경제적 임계값 예측
비용 추정의 불확실성 및 한계 논의
하드웨어 비용 대비 에너지 비용 검토
124개 주요 ML 시스템 데이터셋
AI 개발 및 투자 경제에 대한 통찰
활용 분야
- AI 비용 분석
- AI 투자 예측
- AI 연구 계획
- 경제적 영향 평가
- 경쟁 환경
