Un world model est un système d'IA qui prédit comment un environnement va évoluer, y compris ce qui se passe quand quelque chose y agit. Un chatbot prédit le mot suivant. Un générateur vidéo prédit les images suivantes d'un clip. Un world model prédit l'état suivant d'un lieu, de sorte qu'une personne ou un robot puisse y agir et voir ce qui en découle.
Cette idée est devenue très chère cette année. AMD a accepté de racheter World Labs, la startup fondée par Fei-Fei Li en 2024, dans une opération entièrement en actions valorisée à environ 8,2 milliards de dollars (AMD). AMI Labs, la société de Yann LeCun, a levé 1,03 milliard de dollars avant d'avoir livré quoi que ce soit (TechCrunch). Google DeepMind, NVIDIA, Meta et Runway ont tous sorti un world model sous une forme ou une autre.
Les produits sont bien plus modestes que les sommes engagées. Aujourd'hui, vous pouvez acheter un générateur de scènes 3D, louer un court prototype de recherche via un abonnement Google, ou télécharger des modèles ouverts si vous développez des logiciels pour des robots ou des voitures autonomes. Notre lecture : les usages en scènes 3D et en logiciels de robotique sont réels dès maintenant, tandis que la promesse de simuler la réalité reste surtout une bande démo. Voici comment distinguer les deux, avec les prix de tout ce que vous pouvez essayer.
Un world model prédit l'état suivant, pas le mot suivant
Les définitions des labos concordent. Google DeepMind explique que les world models s'appuient sur leur compréhension des environnements physiques pour les simuler, afin qu'un agent puisse prédire l'évolution d'un monde et l'effet de ses propres actions (Google DeepMind). La version de Runway est plus courte : un système qui construit une représentation interne d'un environnement et s'en sert pour simuler les événements futurs qui s'y produisent.
Le mot qui compte, c'est action. Demandez à un modèle de langage ce qui se passe quand une balle roule d'une table : il écrit une phrase. Demandez-le à un générateur vidéo : il produit un clip que vous regardez. Un world model prend l'état actuel plus une entrée (un pas en avant, une rotation de caméra, une pince de robot qui se ferme) et renvoie l'état suivant, puis recommence à votre entrée suivante.
Lisez la ligne du bas comme l'idée centrale. La sortie est réinjectée comme entrée suivante, donc un world model se juge sur sa cohérence dans le temps. Une seule image magnifique ne prouve pas grand-chose.
Le concept est plus ancien que le battage actuel. En 2018, David Ha et Jürgen Schmidhuber ont publié World Models, où un agent apprenait un modèle compressé d'un jeu et s'entraînait entièrement dans son propre « rêve halluciné » avant d'agir dans l'environnement réel. Ce qui a changé, c'est l'échelle. Des modèles entraînés sur des quantités énormes de vidéo produisent désormais des mondes d'aspect photographique, ce qui a sorti l'idée des articles d'apprentissage par renforcement pour la propulser dans les conférences sur les résultats financiers.
Les jalons ci-dessous montrent à quelle vitesse tout s'est accéléré une fois que les modèles vidéo sont devenus bons.
Six ans séparent l'article sur le rêve de mondes jouables appris à partir de vidéos d'internet. Presque tout le reste, des modèles de robotique ouverts au chèque de 8,2 milliards de dollars d'un fabricant de puces, est arrivé en deux ans environ.
Quatre paris sur la façon d'en construire un
Les labos ne s'accordent pas sur ce qu'un world model doit produire, et ce désaccord explique l'essentiel des produits. La taxonomie de World Labs est le moyen le plus clair de les classer. Elle distingue trois types de world models. Les renderers produisent des « pixels destinés à l'œil humain ». Les simulateurs produisent une « représentation fidèle du monde, sur le plan géométrique, physique ou dynamique ». Les planners produisent des actions (World Labs).
Son avertissement sur les renderers vaut pour chaque vidéo de lancement : les bâtiments d'un plan de drone « peuvent sembler parfaits vus d'en haut, mais essayez de rouler dans la ville en dessous et tout s'effondre ». Avec ce prisme, le domaine se divise en quatre camps.
Des mondes interactifs que vous pilotez en temps réel
Genie 3, de Google DeepMind, transforme un prompt texte en un monde dans lequel vous vous déplacez en 720p, à 20-24 images par seconde. Google affirme que ses mondes restent globalement cohérents pendant plusieurs minutes et qu'il se souvient des modifications issues d'interactions précises jusqu'à une minute (Google DeepMind). GWM Worlds 2 de Runway, un aperçu de recherche, fait quelque chose de similaire avec de la vidéo et de l'audio, et continue de générer tant que vous continuez à piloter. La taxonomie de World Labs classe Genie 3 parmi les renderers, et GWM Worlds 2 semble être un système du même genre : vous obtenez un flux de pixels, et rien que vous puissiez ouvrir dans un autre outil.
Des générateurs de mondes 3D qui vous livrent un fichier
Marble, le premier produit de World Labs, transforme du texte, des photos, des vidéos ou de grossiers blocs 3D en un monde persistant que vous pouvez modifier et exporter en Gaussian splats ou en maillages (documentation World Labs). Le monde ne réagit pas à vous comme un monde Genie. En contrepartie, il existe sous forme de fichier que les moteurs de jeu et les outils de design savent ouvrir. World Labs indique que son nouveau modèle Atlas, en accès anticipé auprès de partenaires sélectionnés, alimentera les prochaines versions de Marble.
Des modèles d'IA physique pour robots et voitures
NVIDIA les appelle des world foundation models. NVIDIA Cosmos 3 raisonne sur la vidéo, génère des séquences synthétiques à partir de texte, d'images, de vidéo, de son et d'actions, et peut servir de socle à la politique de contrôle d'un robot. Les poids sont ouverts sous la licence OpenMDW 1.1 (NVIDIA). Oasis 3 de Decart est plus ciblé : un monde de conduite multi-caméras en temps réel, auquel les équipes de conduite autonome accèdent par API.
Des prédicteurs latents qui se passent des pixels
La gamme V-JEPA de Meta ne cherche pas du tout à dessiner le futur. V-JEPA 2 encode la vidéo en représentations compactes et prédit comment elles évoluent, ce qui coûte moins cher que de rendre chaque pixel, tout en suffisant pour planifier. Meta annonce 65 % à 80 % de réussite pour saisir et déposer des objets inconnus dans de nouveaux environnements, après un entraînement sur le jeu de données robotiques ouvert DROID et un déploiement direct sur des robots de laboratoire, sans aucune donnée collectée sur eux au préalable (Meta AI).
C'est le camp que LeCun défend depuis des années. Il a depuis quitté Meta, et AMI Labs s'appuie sur la même Joint Embedding Predictive Architecture qu'il a proposée en 2022.
Si le vocabulaire devient dense, voici les termes sur lesquels reposent les argumentaires.
Action-conditioned est le critère à opposer aux éditeurs. Si un produit ne peut pas prendre votre entrée en cours de route et ne vous donne pas d'état 3D exploitable, c'est un générateur vidéo avec une nouvelle étiquette.
Les générateurs vidéo ressemblent à des world models jusqu'à ce qu'on les pousse
OpenAI a présenté ses recherches Sora de 2024 comme une voie vers des simulateurs généralistes du monde physique, tout en admettant que le modèle n'arrivait pas à reproduire correctement des interactions de base comme un verre qui se brise. Avec Sora 2, l'entreprise a mis en avant des progrès : quand un basketteur rate son tir, le ballon rebondit désormais sur le panneau au lieu de se téléporter dans le panier. OpenAI a aussi qualifié le modèle de « loin d'être parfait » (OpenAI).
Puis le produit a disparu. OpenAI indique que les expériences web et application de Sora ont été arrêtées plus tôt cette année, et son centre d'aide place la fermeture de l'API Sora plus tard en 2026. C'est une décision commerciale, mais elle rappelle utilement que « simulateur du monde » était un cadrage de recherche greffé sur une application vidéo grand public.
Les recherches indépendantes sont plus tranchées. Le benchmark Physics-IQ a testé Sora, Runway, Pika, Lumiere, Stable Video Diffusion et VideoPoet sur la dynamique des fluides, l'optique, la mécanique des solides, le magnétisme et la thermodynamique. Sa conclusion : la compréhension physique « est très limitée et sans rapport avec le réalisme visuel » (arXiv). Une autre étude a entraîné des modèles vidéo sur une physique simulée simple et constaté qu'ils copient l'exemple d'entraînement le plus proche au lieu d'apprendre la règle, d'où la conclusion que le seul passage à l'échelle ne fera pas découvrir les lois physiques.
Considérez donc des modèles vidéo comme Veo 3.1 et Runway Gen-4.5 comme d'excellents renderers et de faibles simulateurs. C'est très bien pour une pub ou un storyboard. C'est un mauvais pari si vous comptez faire confiance aux images pour apprendre à un robot ce que fait un sol mouillé. Si c'est de la vidéo qu'il vous faut, commencez par notre comparatif des solutions vidéo IA et le classement des générateurs vidéo IA.
Pourquoi fabricants de puces et investisseurs paient le prix fort
Le rachat par AMD montre le mieux où tout cela mène. L'entreprise valorise l'opération, entièrement en actions, à environ 8,2 milliards de dollars, prévoit de la finaliser d'ici fin 2026 sous réserve d'approbation réglementaire, et nommera Fei-Fei Li vice-présidente exécutive et scientifique en chef, sous l'autorité de la CEO Lisa Su (AMD). TechCrunch rapporte qu'AMD compte sur les « charges de travail de pointe » de World Labs pour orienter sa feuille de route de puces, et présente l'achat comme un moyen de rivaliser avec NVIDIA, qui propose déjà des world models ouverts via Cosmos (TechCrunch).
L'argent du capital-risque suit la même direction. Chacun des tours ci-dessous a été annoncé cette année.
AMI Labs a levé 1,03 milliard de dollars sur une valorisation pre-money de 3,5 milliards, avec notamment NVIDIA, Samsung, Temasek et Toyota Ventures parmi les investisseurs (TechCrunch). TechCrunch a aussi rapporté que World Labs avait levé 1 milliard de dollars, dont 200 millions venant d'Autodesk, quelques mois avant d'accepter d'être vendue. Runway a levé 315 millions de dollars sur une valorisation de 5,3 milliards pour préentraîner ses prochains world models, et Odyssey 310 millions sur une valorisation de 1,45 milliard, avec Amazon et AMD Ventures au tour de table.
Quatre motivations reviennent sans cesse. Les fabricants de puces veulent la charge de calcul : un directeur de recherche de DeepMind a confié à TechCrunch que pendant une session Project Genie, « il y a quelque part une puce qui n'est qu'à vous » (TechCrunch).
Les équipes de robotique ont besoin de données d'entraînement lentes et risquées à collecter dans le monde réel. Le contenu 3D coûte cher à produire à la main. Et certains labos estiment que le langage seul n'amènera pas l'IA dans le monde physique. Luma l'a dit sans détour en levant 900 millions de dollars l'an dernier : « Pour simuler l'univers, les LLM et le texte ne suffisent pas. » Notez à quelle fréquence NVIDIA et la branche capital-risque d'AMD apparaissent dans ces tours de table. Les entreprises qui vendent la puissance de calcul financent celles qui vont la consommer.
Ce que vous pouvez vraiment utiliser aujourd'hui
Si on retire les aperçus de recherche et les listes d'attente, la liste est courte. Voici ce qui est ouvert au public, ou à tout développeur muni d'une carte bancaire, cette année.
| Produit | Idéal pour | Comment l'obtenir | Prix |
|---|---|---|---|
| Marble (World Labs) | Créateurs, designers, artistes de jeu | Application web, en libre-service | Gratuit jusqu'à 4 mondes ; 20 $, 35 $ ou 95 $ par mois |
| World API (World Labs) | Développeurs | World Labs Platform | Crédits API prépayés |
| Project Genie (Google) | Consommateurs curieux | Forfait Google AI Ultra, plus de 140 pays | Ultra à partir de 99,99 $ par mois |
| Cosmos 3 (NVIDIA) | Équipes de robotique, de véhicules autonomes et de vision | Poids ouverts ; essai hébergé | Poids gratuits, votre propre calcul |
| Oasis 3 Preview (Decart) | Équipes de conduite autonome | API, paiement à l'usage | 0,02 $ par seconde |
| V-JEPA 2 (Meta) | Chercheurs | Code et checkpoints | Gratuit |
| GWM Worlds 2 (Runway) | Studios et entreprises | Aperçu de recherche, formulaire de contact | Non communiqué |
Les prix viennent des pages officielles des éditeurs (tarifs de Marble, forfaits Google AI). Deux choses ressortent. Marble est le seul produit de la liste qu'un non-développeur peut payer et repartir avec un fichier. Et Project Genie, la démo la plus spectaculaire, se justifie difficilement sur le plan du prix, sauf si vous payez déjà Ultra pour d'autres raisons. Google l'a d'abord ouvert uniquement aux abonnés américains de plus de 18 ans, avec des générations plafonnées à 60 secondes, et il est désormais proposé dans plus de 140 pays.
Le tableau ci-dessous compare les quatre que vous êtes le plus susceptible d'essayer, selon des critères que nous avons pu confirmer sur les pages des éditeurs.
Marble obtient une note partielle en robotique parce que World Labs propose sa World API aux équipes de robotique, avec des connexions à des simulateurs comme NVIDIA Isaac, alors que l'application grand public n'est pas conçue pour ce travail.
Un plan d'une semaine pour tester les world models
- Ouvrez l'offre gratuite de Marble et construisez un monde à partir de la photo d'une vraie pièce. World Labs annonce environ cinq minutes pour un monde complet et environ 20 secondes pour un brouillon (documentation World Labs).
- Construisez la même pièce à partir d'un prompt texte. Parcourez les deux versions et repérez les zones floues ou qui fondent, elles montrent où le modèle a deviné.
- Si vous payez Google AI Ultra, reconstruisez la pièce dans Project Genie. Éloignez-vous d'une porte, revenez, et notez ce qui a changé.
- Si vous codez, récupérez un checkpoint de Cosmos 3 sur Hugging Face ou essayez un modèle hébergé sur le catalogue de NVIDIA avant de mobiliser des GPU.
- Notez une tâche que vous confieriez à un world model et la sortie dont elle a besoin : vidéo, splat, maillage ou actions. Le format décide de l'outil plus que n'importe quelle démo.
Vous ne savez pas par où commencer ? Cet arbre de décision vous oriente selon votre objectif en deux questions maximum.
La plupart des parcours qui aboutissent à une personne plutôt qu'à un robot mènent à Marble. C'est le moyen le moins cher d'obtenir un monde que vous pouvez conserver.
Comment juger une démo de world model
Les lancements de world models sont montés pour les réseaux sociaux, et les courts clips retouchés avantagent tous les modèles. Quelques vérifications aident à voir au-delà du vernis.
Commencez par la durée. La page de Genie 3 de Google dit elle-même que le modèle supporte « quelques minutes d'interaction continue, et non des heures » (Google DeepMind). Son prédécesseur, Genie 2, montrait des exemples qui duraient surtout de 10 à 20 secondes. Un clip de 15 secondes ne vous apprend presque rien, dans un sens comme dans l'autre.
Cherchez ensuite un aller-retour. La mémoire est le point difficile. Genie 3 se souvient des changements pendant environ une minute, et Runway reconnaît que la mémoire à long terme de GWM Worlds 2 est imparfaite. Si la caméra ne revient jamais sur un endroit déjà montré, demandez-vous pourquoi.
Vérifiez qui pilote. Un travelling cinématographique fluide peut être planifié à l'avance, alors qu'une personne qui appuie sur des touches révèle la latence. Le test de Project Genie par TechCrunch a relevé des commandes peu réactives et un personnage qui traversait parfois les murs, même si les mondes stylisés comme la pâte à modeler ou l'aquarelle rendaient bien (TechCrunch).
Enfin, séparez l'apparence de la physique. Physics-IQ a constaté que les deux n'ont aucun lien dans les modèles vidéo : une démo pleine de paysages grandioses et sans collisions est donc une démo de rendu. Utilisez le outil de notation sur la prochaine vidéo de lancement que vous verrez.
Un clip de lancement monté typique obtient ici un score bas. Lisez-y du marketing, et faites votre propre test pratique avant de bâtir le moindre travail autour du modèle.
Les limites que personne n'a encore résolues
La cohérence est le premier mur. Ces modèles génèrent chaque instant à partir de ce qu'ils ont déjà produit, si bien que les petites erreurs s'accumulent. L'examen d'Oasis 3 de Decart par TechCrunch a montré un monde de conduite qui perd en cohérence au fil des longues sessions, des voitures qui traversent les obstacles et une mémoire de scène qui se dégrade quand on revisite des zones (TechCrunch).
Le coût est le deuxième. Oasis 3 est facturé 0,02 $ la seconde, soit 1,20 $ la minute et 72 $ pour une heure de conduite simulée. Le plafond de 60 secondes de Google sur Project Genie existe parce que chaque session mobilise du matériel dédié. Un niveau de jeu terminé, lui, ne coûte presque rien de plus à chaque partie.
L'évaluation est le troisième, et le moins discuté. Les benchmarks sont jeunes, et plusieurs viennent des mêmes labos qui publient les modèles. Les propres tests de raisonnement physique de Meta montrent des humains à 85 %-95 %, avec un écart net par rapport aux meilleurs modèles (Meta AI). NVIDIA revendique la première place sur plusieurs classements de génération de mondes pour Cosmos 3. Considérez les classements d'éditeurs pour ce qu'ils sont : des classements d'éditeurs.
Les entreprises ne sont pas très bavardes non plus. TechCrunch a rapporté cette année que les startups de world models gardent leurs plans produit pour elles, et le CEO d'AMI Labs a dit que sa société n'est pas du genre à sortir un produit en trois mois.
Qui devrait attendre ? Tous ceux qui ont besoin d'un pipeline de production fiable pour le jeu, le cinéma ou le bâtiment cette année. Les world models font de bons brouillons et de bonnes références. Ils ne remplacent pas encore un moteur de jeu ni un simulateur physique que votre équipe a validé.
Ce qui change pour les créateurs, les développeurs de jeux, les architectes et les équipes de robotique
Les créateurs en tirent le plus de valeur immédiate. Les mondes Marble s'exportent vers Unreal Engine, Unity, Blender et Houdini via des plugins de Gaussian splatting, et vous pouvez enregistrer des survols de caméra en vidéo. Pour la prévisualisation et les décors virtuels, c'est un vrai raccourci. Surveillez la licence : les droits commerciaux commencent avec l'offre Pro à 35 $, et l'offre Standard à 20 $ ne les inclut pas (tarifs de Marble). Pour des objets isolés plutôt que des scènes entières, le classement des générateurs de modèles 3D convient mieux.
Les développeurs de jeux devraient pour l'instant voir les world models comme un outil de blocage et de concept. Le mode Chisel de Marble transforme des formes 3D grossières en monde détaillé, ce qui convient à l'agencement initial des niveaux. Les mondes générés n'ont ni logique de gameplay, ni collisions réglées, ni budgets de performance, et c'est justement ce qui permet de livrer un jeu. Le classement des outils IA pour développeurs de jeux recense les assistants qui couvrent le reste du pipeline.
Les architectes et les designers d'intérieur sont les prochains sur la liste. Daron Green, scientifique en chef d'Autodesk, a dit à TechCrunch qu'il voyait des clients démarrer avec « une esquisse basée sur un world model dans World Labs (par exemple, l'agencement d'un bureau) » avant de l'affiner dans les outils Autodesk. Pour un travail prêt à présenter à un client dès aujourd'hui, le classement de l'IA pour l'architecture et le design d'intérieur et notre panorama des outils de design d'intérieur couvrent des options plus matures.
Les équipes de logiciels de robotique ont le dossier le plus solide. Cosmos 3 est conçu pour être post-entraîné sur vos propres données de caméras et de robots et exécuté comme simulateur en boucle fermée. World Labs explique que son système real-to-sim-to-real transforme une tâche réelle en milliers de variations simulées et teste chaque checkpoint de politique sur 2 000 essais simulés, les scores simulés suivant les scores sur matériel. L'intérêt est le tri : moins de checkpoints faibles atteignent un robot physique. World Labs connecte aussi sa World API à des simulateurs dont Isaac Sim et MuJoCo, si bien qu'un pilote n'oblige pas à remplacer le simulateur auquel votre équipe fait déjà confiance.
Questions fréquentes
ChatGPT est-il un world model ?
Pas au sens où l'entendent les labos. ChatGPT prédit du texte. Il peut décrire ce qui se passe quand un verre tombe d'une table, mais il ne produit pas un état sur lequel vous pouvez agir pas à pas. Tout l'argumentaire de LeCun pour AMI Labs est que les modèles de langage seuls n'y arriveront pas.
Puis-je tester un world model gratuitement ?
Oui. L'offre gratuite de Marble comprend jusqu'à quatre générations de mondes, et les poids de NVIDIA Cosmos 3 et de V-JEPA 2 de Meta sont téléchargeables gratuitement si vous disposez de GPU adaptés. Project Genie nécessite un forfait Google AI Ultra payant.
Les world models vont-ils remplacer les moteurs de jeu ?
Pas de sitôt. Les mondes interactifs générés dérivent en quelques minutes, et aucun de ces outils ne porte de règles de jeu ; la voie la plus probable est donc hybride : générer un monde brouillon, l'exporter et le terminer dans Unreal, Unity ou Blender. Les guides d'export de World Labs supposent déjà ce workflow.
Que devient Marble maintenant qu'AMD rachète World Labs ?
Aucune des deux entreprises ne l'a dit. L'opération doit encore être approuvée par les autorités et devrait se conclure d'ici fin 2026, et World Labs affirme que Justin Johnson et Ben Mildenhall continueront de diriger son équipe au sein d'AMD. Si votre travail pour des clients dépend de Marble, exportez vos mondes et gardez-en des copies locales.
Sora est-il toujours disponible ?
Non. OpenAI indique que le produit Sora n'est plus disponible : les expériences web et application ont été arrêtées plus tôt cette année, et l'API devait suivre plus tard en 2026. Pour la génération vidéo, notre guide des meilleurs générateurs vidéo IA présente les outils encore sur le marché.