Beschreibung
Dieser umfassende Bericht von Epoch AI befasst sich mit den sich entwickelnden Kosten für das Training von Machine-Learning-(ML)-Systemen in US-Dollar und analysiert Daten von 124 öffentlich bekannten ML-Systemen zwischen 2009 und 2022. Die Haupterkenntnis deutet auf eine erhebliche Wachstumsrate von etwa 0,49 Größenordnungen (OOM) pro Jahr bei den Kosten für Rechenleistung für die endgültigen Trainingsläufe hin.
Weiterlesen
Es wurden zwei primäre Schätzmethoden angewendet: Methode 1, die den allgemeinen Trend der GPU-Preis-Leistung nutzt, und Methode 2, die die Preis-Leistung tatsächlicher NVIDIA-GPUs verwendet, die für das Training eingesetzt werden. Methode 1, die 124 Systeme analysierte, schätzte eine Wachstumsrate von 0,51 OOM/Jahr. Methode 2, mit einer kleineren Stichprobe von 48 Systemen, ergab eine etwas niedrigere Wachstumsrate von 0,44 OOM/Jahr. Für „groß angelegte“ Systeme, die diejenigen darstellen, die unverhältnismäßig viel Rechenleistung verbrauchen, wurde eine deutlich langsamere Wachstumsrate von etwa 0,2 OOM/Jahr festgestellt, was auf eine potenzielle Verlangsamung der Kostensteigerung für die fortschrittlichsten KI-Modelle hindeutet.
Der Bericht untersucht auch die Auswirkungen dieser Trends, einschließlich Prognosen, wann die Kosten für Rechenleistung für die teuersten Trainingsläufe signifikante wirtschaftliche Schwellenwerte erreichen könnten, wie z. B. 1 % des US-BIP. Eine naive Extrapolation legt nahe, dass dies bis 2032 geschehen könnte, während angepasste Prognosen, die eine potenzielle Verlangsamung berücksichtigen, auf 2040 hindeuten. Die Studie unterstreicht die Bedeutung des Verständnisses dieser Kostentrends für die Vorhersage des KI-Fortschritts, die Identifizierung potenzieller Entwickler transformativer KI und die Information breiterer wirtschaftlicher und Investitionsstrategien innerhalb der KI-Landschaft.
Es werden wichtige Vorbehalte angeführt, darunter die inhärente Unsicherheit bei Kostenschätzungen, die ausschließliche Konzentration auf Rechenleistung für endgültige Trainingsläufe und die Unterscheidung zwischen internen Kosten von Technologieunternehmen und Verbraucherpreisen. Die Forschung berührt auch die Energiekosten im Zusammenhang mit dem Training und stellt fest, dass diese einen kleineren Bruchteil im Vergleich zu Hardwarekosten ausmachen, und diskutiert verschiedene Methoden zur Schätzung dieser Kosten, wobei die Notwendigkeit robuster Daten und sorgfältiger Berücksichtigung von Annahmen betont wird.
- KategorieWeitere KI-Tools
Highlights
Analyse der Trainingskosten von ML-Systemen in US-Dollar (2009-2022)
Geschätzte jährliche Wachstumsrate der Rechenkosten: ca. 0,49 OOM/Jahr
Separate Analyse für 'alle Systeme' und 'groß angelegte' Systeme
Vergleich zweier Schätzmethoden: allgemeiner GPU-Trend vs. tatsächliche Hardware
Prognosen für zukünftige Trainingskosten und wirtschaftliche Schwellenwerte
Diskussion von Unsicherheiten und Einschränkungen bei der Kostenschätzung
Untersuchung der Energiekosten im Verhältnis zu den Hardwarekosten
Datensatz von 124 wegweisenden ML-Systemen
Einblicke in die Ökonomie der KI-Entwicklung und -Investitionen
Einsatzbereiche
- KI-Kostenanalyse
- KI-Investitionsvorhersage
- KI-Forschungsplanung
- Bewertung der wirtschaftlichen Auswirkungen
- Wettbewerbslandschaft
