World Models erklärt: Warum KI-Labore darum wetteifern, die Realität zu simulieren

Ein World Model ist ein KI-System, das vorhersagt, wie sich eine Umgebung verändern wird, einschließlich dessen, was passiert, wenn darin jemand oder etwas handelt. Ein Chatbot sagt das nächste Wort voraus. Ein Videogenerator sagt die nächsten Frames eines Clips voraus. Ein World Model sagt den nächsten Zustand eines Ortes voraus, sodass ein Mensch oder ein Roboter darin handeln und sehen kann, was daraus folgt.

Diese Idee ist dieses Jahr sehr teuer geworden. AMD hat sich bereit erklärt, World Labs zu kaufen, das 2024 von Fei-Fei Li gegründete Startup, und zwar in einem reinen Aktiendeal mit einem Wert von rund 8,2 Milliarden $ (AMD). Yann LeCuns AMI Labs hat 1,03 Milliarden $ eingesammelt, bevor es überhaupt etwas ausgeliefert hat (TechCrunch). Google DeepMind, NVIDIA, Meta und Runway haben alle in irgendeiner Form World Models veröffentlicht.

Die Produkte sind deutlich kleiner als das Geld. Heute können Sie einen 3D-Szenengenerator kaufen, einen kurzen Forschungsprototyp über ein Google-Abo mieten oder offene Modelle herunterladen, wenn Sie Software für Roboter oder selbstfahrende Autos bauen. Unsere Einschätzung: Die Einsatzbereiche 3D-Szenen und Robotik-Software sind jetzt real, während das Versprechen, die Realität zu simulieren, noch überwiegend ein Demo-Reel ist. Im Folgenden lesen Sie, wie Sie beides unterscheiden, samt Preisen für alles, was Sie ausprobieren können.

Ein World Model sagt den nächsten Zustand voraus, nicht das nächste Wort

Die Definitionen der Labore stimmen weitgehend überein. Google DeepMind sagt, World Models nutzen ihr Verständnis physischer Umgebungen, um diese zu simulieren, sodass ein Agent vorhersagen kann, wie sich eine Welt entwickelt und wie seine eigenen Aktionen darauf wirken (Google DeepMind). Runways Version ist kürzer: ein System, das eine interne Repräsentation einer Umgebung aufbaut und damit künftige Ereignisse darin simuliert.

Das entscheidende Wort ist Aktion. Fragen Sie ein Sprachmodell nach einem Ball, der vom Tisch rollt, und es schreibt einen Satz. Fragen Sie einen Videogenerator, und er rendert einen Clip, den Sie sich ansehen. Ein World Model nimmt den aktuellen Zustand plus eine Eingabe (einen Schritt nach vorn, eine Kameradrehung, einen sich schließenden Robotergreifer) und gibt den nächsten Zustand zurück, dann wiederholt es das bei Ihrer nächsten Eingabe.

Lesen Sie die untere Zeile als die ganze Idee. Die Ausgabe fließt als nächste Eingabe zurück, deshalb wird ein World Model daran gemessen, ob es über die Zeit konsistent bleibt. Ein einzelnes, wunderschönes Bild beweist sehr wenig.

Das Konzept ist älter als der Hype. 2018 veröffentlichten David Ha und Jürgen Schmidhuber World Models: Darin lernte ein Agent ein komprimiertes Modell eines Spiels und wurde vollständig in seinem eigenen „halluzinierten Traum“ trainiert, bevor er in der echten Umgebung handelte. Was sich geändert hat, ist der Maßstab. Modelle, die mit riesigen Mengen an Video trainiert wurden, erzeugen heute Welten, die fotografisch wirken, und das hat die Idee aus den Reinforcement-Learning-Papern in die Quartalsberichte der Konzerne gebracht.

Die folgenden Meilensteine zeigen, wie schnell es voranging, nachdem Videomodelle gut geworden waren.

Sechs Jahre liegen zwischen dem Traum-Paper und spielbaren Welten, die aus Internet-Material gelernt wurden. Fast alles andere, von offenen Robotermodellen bis zu einem Chiphersteller, der einen Scheck über 8,2 Milliarden $ ausstellt, kam innerhalb von etwa zwei Jahren.

Vier Wetten darauf, wie man eines baut

Die Labore sind uneins darüber, was ein World Model ausgeben sollte, und dieser Streit erklärt die meisten Produkte. Die Taxonomie von World Labs ist der klarste Weg, sie zu sortieren. Sie teilt World Models in drei Arten ein. Renderer geben „Pixel für menschliche Augen“ aus. Simulatoren geben eine „geometrisch, physikalisch oder dynamisch getreue Repräsentation der Welt“ aus. Planer geben Aktionen aus (World Labs).

Die Warnung vor Renderern sollten Sie bei jedem Launch-Video im Hinterkopf behalten: Die Gebäude in einer Drohnenaufnahme „sehen von oben vielleicht makellos aus, aber versuchen Sie, durch die Stadt darunter zu fahren, und sie fallen auseinander“. Mit diesem Blick teilt sich das Feld in vier Lager.

Interaktive Welten, die Sie in Echtzeit steuern

Genie 3 von Google DeepMind macht aus einem Text-Prompt eine Welt, durch die Sie sich in 720p und mit 20 bis 24 Bildern pro Sekunde bewegen. Google zufolge bleiben die Welten mehrere Minuten lang weitgehend konsistent, und Änderungen aus bestimmten Interaktionen merkt sich das Modell bis zu einer Minute lang (Google DeepMind). Runways GWM Worlds 2, eine Research Preview, macht etwas Ähnliches mit Video und Audio und generiert so lange weiter, wie Sie steuern. Die Taxonomie von World Labs ordnet Genie 3 als Renderer ein, und GWM Worlds 2 klingt nach demselben Systemtyp: Sie bekommen einen Pixelstrom, aber nichts, was Sie in einem anderen Tool öffnen könnten.

3D-Weltenbauer, die Ihnen eine Datei liefern

Marble, das erste Produkt von World Labs, macht aus Text, Fotos, Video oder groben 3D-Blöcken eine persistente Welt, die Sie bearbeiten und als Gaussian Splats oder Meshes exportieren können (World Labs docs). Die Welt reagiert nicht auf Sie wie eine Genie-Welt. Dafür existiert sie als Datei, die Game Engines und Design-Tools öffnen können. World Labs sagt, das neuere Modell Atlas, das sich mit ausgewählten Partnern im Early Access befindet, werde künftige Versionen von Marble antreiben.

Physical-AI-Modelle für Roboter und Autos

NVIDIA nennt diese World Foundation Models. NVIDIA Cosmos 3 schlussfolgert über Video, erzeugt synthetisches Material aus Text-, Bild-, Video-, Ton- und Aktionseingaben und kann als Rückgrat der Steuerungs-Policy eines Roboters dienen. Die Gewichte sind offen unter der OpenMDW-1.1-Lizenz (NVIDIA). Decarts Oasis 3 ist enger gefasst: eine Echtzeit-Fahrwelt mit mehreren Kameras, die Teams für selbstfahrende Autos über eine API nutzen.

Latente Prädiktoren, die auf Pixel verzichten

Metas V-JEPA-Linie versucht gar nicht erst, die Zukunft zu zeichnen. V-JEPA 2 kodiert Video in kompakte Repräsentationen und sagt voraus, wie sich diese verändern. Das ist billiger, als jedes Pixel zu rendern, und reicht trotzdem zum Planen. Meta berichtet von 65 % bis 80 % Erfolg beim Greifen und Ablegen unbekannter Objekte in neuen Umgebungen, nach dem Training mit dem offenen Roboter-Datensatz DROID und dem direkten Einsatz auf Laborrobotern, ohne vorher Daten von diesen zu sammeln (Meta AI).

Dieses Lager unterstützt LeCun seit Jahren. Er hat Meta inzwischen verlassen, und AMI Labs baut auf derselben Joint Embedding Predictive Architecture auf, die er 2022 vorgeschlagen hat.

Falls das Vokabular allmählich dicht wird: Das sind die Begriffe, auf die sich die Pitches stützen.

„Action-conditioned“ ist der Begriff, an dem Sie Anbieter messen sollten. Wenn ein Produkt Ihre Eingabe nicht mitten im Stream annehmen kann und Ihnen keinen 3D-Zustand zum Weiterarbeiten gibt, ist es ein Videogenerator mit neuem Etikett.

Videogeneratoren sehen aus wie World Models, bis man sie fordert

OpenAI stellte seine Sora-Forschung von 2024 als Weg zu universellen Simulatoren der physischen Welt dar, räumte aber ein, dass das Modell grundlegende Interaktionen wie zersplitterndes Glas nicht richtig hinbekam. Bei Sora 2 verwies es auf Fortschritte: Wenn ein Basketballspieler daneben wirft, prallt der Ball jetzt vom Brett ab, statt sich in den Korb zu teleportieren. OpenAI nannte das Modell außerdem „weit von perfekt“ (OpenAI).

Dann verschwand das Produkt. Laut OpenAI wurden die Sora-Web- und App-Angebote Anfang des Jahres eingestellt, und laut Help Center folgt die Abschaltung der Sora-API später im Jahr 2026. Das ist eine Geschäftsentscheidung, aber eine nützliche Erinnerung daran, dass „Weltsimulator“ ein Forschungsframing war, das an eine Consumer-Video-App geheftet wurde.

Unabhängige Forschung ist deutlicher. Der Physics-IQ-Benchmark testete Sora, Runway, Pika, Lumiere, Stable Video Diffusion und VideoPoet an Strömungsdynamik, Optik, Festkörpermechanik, Magnetismus und Thermodynamik. Das Ergebnis: Physikalisches Verständnis sei „stark eingeschränkt und unabhängig von visuellem Realismus“ (arXiv). Eine weitere Studie trainierte Videomodelle auf einfacher simulierter Physik und stellte fest, dass sie das nächstliegende Trainingsbeispiel kopieren, statt die Regel zu lernen. Ihr Schluss: Skalierung allein wird physikalische Gesetze nicht aufdecken.

Behandeln Sie Videomodelle wie Veo 3.1 und Runway Gen-4.5 also als hervorragende Renderer und schwache Simulatoren. Für eine Werbung oder ein Storyboard ist das in Ordnung. Als Grundlage, um einem Roboter mit solchem Material beizubringen, was ein nasser Boden bewirkt, ist es eine schlechte Wette. Wenn Sie Video brauchen, starten Sie mit unserem Vergleich der KI-Video-Stacks und dem Board der KI-Videogeneratoren.

Warum Chiphersteller und Investoren so tief in die Tasche greifen

AMDs Deal ist das deutlichste Zeichen dafür, wohin die Reise geht. Das Unternehmen bewertet die reine Aktientransaktion mit rund 8,2 Milliarden $, rechnet vorbehaltlich der behördlichen Genehmigung mit dem Abschluss bis Ende 2026 und macht Fei-Fei Li zur Executive Vice President und Chief Scientist, die an CEO Lisa Su berichtet (AMD). TechCrunch berichtet, AMD erwarte, dass die „Frontier-Workloads“ von World Labs seine Chip-Roadmap prägen, und sieht den Kauf als Weg, gegen NVIDIA zu konkurrieren, das mit Cosmos bereits offene World Models anbietet (TechCrunch).

Das Risikokapital bewegt sich in dieselbe Richtung. Jede der folgenden Runden wurde dieses Jahr angekündigt.

AMI Labs sammelte 1,03 Milliarden $ bei einer Pre-Money-Bewertung von 3,5 Milliarden $ ein, unter den Geldgebern sind NVIDIA, Samsung, Temasek und Toyota Ventures (TechCrunch). TechCrunch berichtete außerdem, dass World Labs 1 Milliarde $ einsammelte, davon 200 Millionen $ von Autodesk, Monate bevor es dem Verkauf zustimmte. Runway sammelte 315 Millionen $ bei einer Bewertung von 5,3 Milliarden $ ein, um seine nächsten World Models vorzutrainieren, und Odyssey 310 Millionen $ bei einer Bewertung von 1,45 Milliarden $, mit Amazon und AMD Ventures als Beteiligten.

Vier Motive tauchen immer wieder auf. Chiphersteller wollen die Workloads: Ein Forschungsdirektor von DeepMind sagte TechCrunch, bei einer Project-Genie-Sitzung gebe es „irgendwo einen Chip, der nur Ihnen gehört“ (TechCrunch).

Robotik-Teams brauchen Trainingsdaten, deren Erhebung in der realen Welt langsam und riskant ist. 3D-Content ist teuer, wenn man ihn von Hand baut. Und einige Labore argumentieren, dass Sprache allein die KI nicht in die physische Welt bringt. Luma formulierte es deutlich, als es letztes Jahr 900 Millionen $ einsammelte: „Um das Universum zu simulieren, reichen LLMs und Text nicht aus.“ Achten Sie darauf, wie oft NVIDIA und AMDs Venture-Arm in diesen Cap Tables auftauchen. Die Firmen, die Rechenleistung verkaufen, finanzieren die Firmen, die sie verbrennen werden.

Was Sie heute tatsächlich nutzen können

Streicht man Research Previews und Wartelisten, wird die Liste kurz. Das steht der Öffentlichkeit oder jedem Entwickler mit Kreditkarte dieses Jahr offen.

Die Preise stammen von den Seiten der Anbieter (Marble-Preise, Google-AI-Tarife). Zwei Dinge fallen auf. Marble ist das einzige Produkt hier, für das auch Nicht-Entwickler zahlen und mit einer Datei nach Hause gehen können. Und Project Genie, die eindrucksvollste Demo, lässt sich preislich kaum rechtfertigen, wenn Sie Ultra nicht ohnehin aus anderen Gründen bezahlen. Google öffnete es zunächst nur für US-Abonnenten über 18 und begrenzte Generierungen auf 60 Sekunden; inzwischen sind mehr als 140 Länder gelistet.

Die Matrix unten vergleicht die vier, die Sie am ehesten ausprobieren werden, anhand von Merkmalen, die wir auf Anbieterseiten bestätigen konnten.

Marble bekommt für Robotik nur eine Teilwertung, weil World Labs seine World API Robotik-Teams anbietet, mit Anbindungen an Simulatoren wie NVIDIA Isaac, während die Consumer-App für diese Arbeit nicht gebaut ist.

Ein Wochenplan zum Ausprobieren von World Models

1. 1Öffnen Sie den kostenlosen Marble-Tarif und bauen Sie aus dem Foto eines echten Raums eine Welt. World Labs gibt für eine vollständige Welt etwa fünf Minuten und für einen Entwurf etwa 20 Sekunden an (World Labs docs).
2. 2Bauen Sie denselben Raum aus einem Text-Prompt. Gehen Sie durch beide Versionen und suchen Sie verschmierte oder zerfließende Bereiche, denn dort hat das Modell geraten.
3. 3Wenn Sie Google AI Ultra bezahlen, bauen Sie den Raum in Project Genie nach. Gehen Sie von einer Türöffnung weg, kehren Sie zurück und notieren Sie, was sich verändert hat.
4. 4Wenn Sie programmieren, laden Sie einen Cosmos-3-Checkpoint von Hugging Face herunter oder probieren Sie ein gehostetes Modell im NVIDIA-Katalog aus, bevor Sie GPUs festlegen.
5. 5Notieren Sie eine Aufgabe, die Sie einem World Model übergeben würden, und die Ausgabe, die dafür nötig ist: Video, Splat, Mesh oder Aktionen. Das Format entscheidet über das Tool mehr als jede Demo.

Sie wissen nicht, wo Sie anfangen sollen? Dieser Entscheidungsbaum führt Sie mit höchstens zwei Fragen zu Ihrem Ziel.

Die meisten Pfade, die bei einem Menschen statt bei einem Roboter enden, führen zu Marble. Es ist der günstigste Weg zu einer Welt, die Sie behalten können.

So beurteilen Sie eine World-Model-Demo

World-Model-Launches sind für Social Video geschnitten, und kurze, bearbeitete Clips schmeicheln jedem Modell. Ein paar Prüfungen schneiden durch den Glanz.

Beginnen Sie mit der Dauer. Googles eigene Genie-3-Seite sagt, das Modell unterstütze „einige Minuten kontinuierlicher Interaktion, nicht stundenlange“ (Google DeepMind). Der Vorgänger Genie 2 zeigte Beispiele, die meist 10 bis 20 Sekunden dauerten. Ein 15-Sekunden-Clip sagt so oder so fast nichts aus.

Suchen Sie dann nach einem Rückweg. Das Gedächtnis ist der schwierige Teil. Genie 3 merkt sich Änderungen etwa eine Minute lang, und Runway sagt, das Langzeitgedächtnis von GWM Worlds 2 sei unvollkommen. Wenn die Kamera nie zu einem bereits gezeigten Ort zurückschwenkt, fragen Sie sich, warum.

Prüfen Sie, wer steuert. Ein glatter, filmischer Pfad kann vorab geplant sein, während ein Mensch, der Tasten drückt, Verzögerungen offenlegt. TechCrunchs Hands-on mit Project Genie fand unresponsive Steuerung und eine Figur, die manchmal durch Wände lief, obwohl stilisierte Welten wie Knetanimation und Aquarell gut aussahen (TechCrunch).

Trennen Sie schließlich Optik von Physik. Physics-IQ fand beides bei Videomodellen unabhängig voneinander, eine Demo voller weiter Landschaften und ohne Kollisionen ist also eine Rendering-Demo. Nutzen Sie den Scorer beim nächsten Launch-Video, das Sie sehen.

Ein typischer geschnittener Launch-Clip schneidet hier schlecht ab. Verstehen Sie das als Marketing und machen Sie Ihren eigenen Hands-on-Test, bevor Sie Arbeit rund um das Modell planen.

Die Grenzen, die noch niemand gelöst hat

Konsistenz ist die erste Hürde. Diese Modelle erzeugen jeden Moment aus dem, was sie bereits produziert haben, sodass sich kleine Fehler aufsummieren. TechCrunchs Blick auf Decarts Oasis 3 ergab, dass die Fahrwelt über lange Sitzungen die Kohärenz verlor, Autos durch Hindernisse fuhren und das Szenengedächtnis nachließ, wenn Bereiche erneut besucht wurden (TechCrunch).

Kosten sind die zweite. Oasis 3 kostet 0,02 $ pro Sekunde, das sind 1,20 $ pro Minute und 72 $ für eine Stunde simuliertes Fahren. Googles 60-Sekunden-Limit bei Project Genie gibt es, weil jede Sitzung dedizierte Hardware bindet. Ein fertiges Spiellevel dagegen kostet fast nichts extra, wenn jemand es spielt.

Die Bewertung ist die dritte und die am wenigsten diskutierte. Benchmarks sind jung, und mehrere stammen von denselben Laboren, die die Modelle veröffentlichen. Metas eigene Tests zum physikalischen Schlussfolgern zeigen, dass Menschen 85 % bis 95 % erreichen, mit einer deutlichen Lücke zu den besten Modellen (Meta AI). NVIDIA beansprucht für Cosmos 3 Platz eins in mehreren World-Generation-Ranglisten. Behandeln Sie Anbieter-Rankings als das, was sie sind: Anbieter-Rankings.

Auch die Unternehmen sind nicht gesprächig. TechCrunch berichtete dieses Jahr, World-Model-Startups behielten ihre Produktpläne für sich, und der CEO von AMI Labs hat gesagt, seine Firma sei nicht die Art Startup, die in drei Monaten ein Produkt ausliefert.

Wer sollte warten? Jeder, der dieses Jahr eine verlässliche Produktions-Pipeline für Spiele, Film oder Gebäude braucht. World Models liefern gute Entwürfe und Referenzmaterial. Eine Game Engine oder einen von Ihrem Team validierten Physiksimulator ersetzen sie noch nicht.

Was sich für Kreative, Spieleentwickler, Architekten und Robotik-Teams ändert

Kreative haben den unmittelbarsten Nutzen. Marble-Welten lassen sich über Gaussian-Splatting-Plugins nach Unreal Engine, Unity, Blender und Houdini exportieren, und Sie können Kamerafahrten als Video aufzeichnen. Für Previs und virtuelle Sets ist das eine echte Abkürzung. Achten Sie auf die Lizenz: Kommerzielle Rechte gibt es ab dem Pro-Tarif für 35 $, der Standard-Tarif für 20 $ enthält sie nicht (Marble-Preise). Für einzelne Objekte statt ganzer Szenen passt das Board der 3D-Modell-Generatoren besser.

Spieleentwickler sollten World Models vorerst als Tool für Blockout und Konzept sehen. Marbles Chisel-Modus verwandelt grobe 3D-Formen in eine detaillierte Welt, was sich für frühes Level-Layout eignet. Generierte Welten bringen keine Gameplay-Logik, keine abgestimmten Kollisionen und keine Performance-Budgets mit, und genau die machen ein Spiel auslieferbar. Das Board der KI-Tools für Spieleentwickler verzeichnet die Assistenten, die den Rest der Pipeline abdecken.

Architekten und Innenarchitekten sind als Nächste dran. Autodesks Chief Scientist Daron Green sagte TechCrunch, er könne sich vorstellen, dass Kunden mit „einer World-Model-basierten Skizze in World Labs (etwa von einem Büro-Layout)“ beginnen und sie in Autodesk-Tools verfeinern. Für kundenfertige Arbeit heute decken das Board für KI-Innen- und Architekturdesign und unsere Übersicht der Interior-Design-Tools reifere Optionen ab.

Robotik-Software-Teams haben den stärksten Anwendungsfall. Cosmos 3 ist dafür gedacht, mit Ihren eigenen Kamera- und Roboterdaten nachtrainiert und als Closed-Loop-Simulator betrieben zu werden. World Labs sagt, sein Real-to-Sim-to-Real-System mache aus einer echten Aufgabe Tausende simulierte Varianten und teste jeden Policy-Checkpoint in 2.000 simulierten Durchläufen, wobei die simulierten Werte den Hardware-Werten folgen. Der Gewinn liegt im Aussieben: Weniger schwache Checkpoints kommen überhaupt auf einen physischen Roboter. World Labs verbindet seine World API außerdem mit Simulatoren wie Isaac Sim und MuJoCo, sodass ein Pilot nicht bedeutet, den Simulator zu ersetzen, dem Ihr Team bereits vertraut.

Häufig gestellte Fragen

Ist ChatGPT ein World Model?

Nicht in dem Sinne, den die Labore meinen. ChatGPT sagt Text voraus. Es kann beschreiben, was passiert, wenn ein Glas vom Tisch fällt, gibt aber keinen Zustand aus, auf den Sie Schritt für Schritt reagieren können. LeCuns ganzes Argument für AMI Labs lautet, dass Sprachmodelle allein dorthin nicht führen.

Kann ich ein World Model kostenlos ausprobieren?

Ja. Der kostenlose Marble-Tarif umfasst bis zu vier Weltgenerierungen, und die Gewichte von NVIDIA Cosmos 3 und Metas V-JEPA 2 können Sie kostenlos herunterladen, wenn Sie geeignete GPUs haben. Project Genie erfordert einen kostenpflichtigen Google-AI-Ultra-Tarif.

Werden World Models Game Engines ersetzen?

Nicht bald. Interaktive generierte Welten driften innerhalb von Minuten, und keines dieser Tools bringt Spielregeln mit. Der wahrscheinlichere Weg ist daher ein Hybrid: eine Entwurfswelt generieren, exportieren und in Unreal, Unity oder Blender fertigstellen. Die Export-Anleitungen von World Labs setzen diesen Workflow bereits voraus.

Was passiert mit Marble, jetzt wo AMD World Labs kauft?

Keines der Unternehmen hat sich dazu geäußert. Der Deal braucht noch die behördliche Genehmigung und soll bis Ende 2026 abgeschlossen sein, und World Labs sagt, Justin Johnson und Ben Mildenhall würden das Team auch innerhalb von AMD weiter leiten. Wenn Kundenarbeit von Marble abhängt, exportieren Sie Ihre Welten und behalten Sie lokale Kopien.

Ist Sora noch verfügbar?

Nein. OpenAI sagt, das Sora-Produkt sei nicht mehr verfügbar: Die Web- und App-Angebote wurden Anfang des Jahres eingestellt, die API sollte später im Jahr 2026 folgen. Für Videogenerierung deckt unser Guide zu den besten KI-Videogeneratoren die Tools ab, die noch am Markt sind.