Deskripsi
Laporan komprehensif dari Epoch AI ini mendalami tren biaya pelatihan sistem machine learning (ML) dalam dolar, menganalisis data dari 124 sistem ML yang diketahui publik antara tahun 2009 dan 2022. Temuan utama menunjukkan tingkat pertumbuhan substansial sekitar 0,49 orde magnitudo (OOM) per tahun dalam biaya komputasi untuk proses pelatihan akhir.
Baca Selengkapnya
Dua metode estimasi utama digunakan: Metode 1, yang menggunakan tren kinerja harga GPU secara keseluruhan, dan Metode 2, yang memanfaatkan kinerja harga GPU NVIDIA aktual yang digunakan dalam pelatihan. Metode 1, yang menganalisis 124 sistem, memperkirakan tingkat pertumbuhan 0,51 OOM/tahun. Metode 2, dengan sampel yang lebih kecil yaitu 48 sistem, menghasilkan tingkat pertumbuhan yang sedikit lebih rendah yaitu 0,44 OOM/tahun. Untuk sistem "skala besar", yang mewakili sistem yang menggunakan jumlah komputasi yang sangat besar, tingkat pertumbuhan ditemukan jauh lebih lambat, yaitu sekitar 0,2 OOM/tahun, menunjukkan potensi perlambatan dalam eskalasi biaya untuk model AI yang paling canggih.
Laporan ini juga mengeksplorasi implikasi dari tren ini, termasuk perkiraan kapan biaya komputasi untuk proses pelatihan termahal mungkin mencapai ambang batas ekonomi yang signifikan, seperti 1% dari PDB AS. Ekstrapolasi naif menunjukkan ini bisa terjadi pada tahun 2032, sementara perkiraan yang lebih disesuaikan, dengan mempertimbangkan potensi perlambatan, menunjuk ke tahun 2040. Studi ini menyoroti pentingnya memahami tren biaya ini untuk memprediksi kemajuan AI, mengidentifikasi pengembang potensial AI transformatif, dan menginformasikan strategi ekonomi dan investasi yang lebih luas dalam lanskap AI.
Catatan penting disertakan, termasuk ketidakpastian inheren dalam estimasi biaya, fokus hanya pada komputasi untuk proses pelatihan akhir, dan perbedaan antara biaya perusahaan internal dan harga konsumen. Penelitian ini juga menyentuh biaya energi yang terkait dengan pelatihan, menemukan bahwa biaya tersebut merupakan sebagian kecil dibandingkan dengan biaya perangkat keras, dan membahas berbagai metode untuk memperkirakan biaya ini, menekankan perlunya data yang kuat dan pertimbangan asumsi yang cermat.
- KategoriAlat AI Lainnya
Sorotan
Analisis biaya pelatihan ML dalam dolar (2009-2022)
Perkiraan tingkat pertumbuhan tahunan biaya komputasi: ~0,49 OOM/tahun
Analisis terpisah untuk 'semua sistem' dan sistem 'skala besar'
Perbandingan dua metode estimasi: tren GPU keseluruhan vs. perangkat keras aktual
Perkiraan biaya pelatihan di masa depan dan ambang batas ekonomi
Diskusi tentang ketidakpastian dan keterbatasan dalam estimasi biaya
Pemeriksaan biaya energi relatif terhadap biaya perangkat keras
Dataset 124 sistem ML penting
Wawasan tentang ekonomi pengembangan dan investasi AI
Gunakan untuk
- Analisis Biaya AI
- Peramalan Investasi AI
- Perencanaan Riset AI
- Penilaian Dampak Ekonomi
- Lanskap Kompetitif
