ワールドモデル入門:なぜAI研究所は「現実のシミュレーション」を競うのか

ワールドモデルとは、環境がどう変化するかを予測するAIシステムです。環境の中で何かが行動したときに何が起きるかも含みます。チャットボットは次の単語を予測します。動画生成AIはクリップの次のフレームを予測します。ワールドモデルは、ある場所の次の「状態」を予測します。だから人間もロボットもその中で行動し、その結果を確かめられます。

このアイデアに、今年は巨額の資金が集まりました。AMDは、Fei-Fei Li氏が2024年に創業したスタートアップWorld Labsを、約82億ドル相当の全額株式交換で買収することに合意しました(AMD)。Yann LeCun氏のAMI Labsは、製品を出す前に10.3億ドルを調達しました(TechCrunch)。Google DeepMind、NVIDIA、Meta、Runwayも、何らかの形でワールドモデルを公開しています。

ただ、製品の規模は資金の大きさに遠く及びません。今買えるのは3Dシーン生成ツールです。Googleのサブスクリプション経由で短時間の研究プロトタイプを借りることもできます。ロボットや自動運転向けのソフトウェアを作っているなら、オープンモデルをダウンロードして使えます。私たちの見立てでは、3Dシーン生成とロボティクス向けソフトウェアの用途はすでに実用レベルです。「現実をシミュレートする」という約束のほうは、まだほとんどデモ映像の段階です。以下では両者の見分け方と、試せるものすべての価格を紹介します。

ワールドモデルが予測するのは、次の単語ではなく次の状態

各研究所の定義はおおむね一致しています。Google DeepMindは、ワールドモデルは物理環境への理解を使ってそれをシミュレートし、エージェントが世界の変化と自分の行動の影響を予測できるようにするものだと説明しています(Google DeepMind)。Runwayの定義はもっと短く、環境の内部表現を構築し、その中で将来の出来事をシミュレートするシステムだとしています。

重要なのは「行動」です。ボールがテーブルから転がり落ちる場面を言語モデルに尋ねると、文章が返ってきます。動画生成AIに頼むと、見るためのクリップが生成されます。ワールドモデルは、現在の状態と入力(一歩前進する、カメラを回す、ロボットのグリッパーを閉じるなど)を受け取って次の状態を返し、次の入力でそれを繰り返します。

下の段こそがこのアイデアの核心です。出力が次の入力として戻ってくるため、ワールドモデルは時間が経っても一貫性を保てるかで評価されます。1枚のきれいな画像だけでは、ほとんど何も証明できません。

この概念は、今の盛り上がりよりずっと古くからあります。2018年にDavid HaとJürgen Schmidhuberが発表したWorld Modelsでは、エージェントがゲームの圧縮モデルを学習し、実際の環境で行動する前に、自分自身の「幻覚の夢」の中だけで訓練されました。変わったのは規模です。大量の動画で学習したモデルが写真のようにリアルな世界を生み出すようになり、このアイデアは強化学習の論文から決算説明会の場へと飛び出しました。

動画モデルの性能が上がってから、どれだけ速く進んだかを下のマイルストーンで確認できます。

「夢」の論文から、インターネット上の映像から学習したプレイ可能な世界までには6年かかりました。オープンなロボットモデルから、半導体メーカーによる82億ドルの買収まで、ほかのほとんどはこの2年ほどの間に起きています。

構築方法をめぐる4つの賭け

ワールドモデルが何を出力すべきかについて、各研究所の意見は分かれています。この違いが、ほとんどの製品の違いを説明します。分類にはWorld Labs自身の分類法がいちばんわかりやすいでしょう。ワールドモデルを3種類に分けています。レンダラーが出力するのは「人間の目のためのピクセル」です。シミュレーターが出力するのは「幾何学的・物理的・力学的に忠実な世界の表現」です。プランナーが出力するのは行動です(World Labs)。

レンダラーについての警告は、どのローンチ動画を見るときにも覚えておく価値があります。ドローン撮影の建物は「上空からは完璧に見えても、下の街を車で走ろうとすると崩れてしまう」というものです。この視点で見ると、この分野は4つの陣営に分けられます。

リアルタイムで操作できるインタラクティブな世界

Google DeepMindのGenie 3は、テキストプロンプトから、720p・毎秒20〜24フレームで動き回れる世界を生成します。Googleによると、世界は数分間おおむね一貫性を保ち、特定のやり取りによる変化は最大1分間記憶されます(Google DeepMind)。Runwayの研究プレビューであるGWM Worlds 2も、映像と音声で同様のことを行い、操作し続ける限り生成を続けます。World Labsの分類法はGenie 3をレンダラーに分類しており、GWM Worlds 2も同じタイプのシステムのようです。得られるのはピクセルのストリームで、ほかのツールで開けるものは何もありません。

ファイルを渡してくれる3Dワールドビルダー

World Labs初の製品であるMarbleは、テキスト、写真、動画、ラフな3Dブロックから、編集できる永続的な世界を作り、Gaussian splatsやメッシュとしてエクスポートできます(World Labs docs)。Genieの世界のように、こちらの操作に反応して変化することはありません。その代わり、ゲームエンジンやデザインツールで開けるファイルとして残ります。World Labsによると、一部のパートナー向けに早期アクセスを提供している新しいAtlasモデルが、今後のMarbleを支える予定です。

ロボットや自動車向けのフィジカルAIモデル

NVIDIAはこれらをワールド基盤モデルと呼んでいます。NVIDIA Cosmos 3は動画を推論し、テキスト、画像、動画、音声、行動の入力から合成映像を生成でき、ロボットの制御ポリシーの土台としても使えます。ウェイトはOpenMDW 1.1ライセンスで公開されています(NVIDIA)。DecartのOasis 3はもっと用途を絞っています。リアルタイムでマルチカメラの運転ワールドで、自動運転チームがAPI経由で利用します。

ピクセルを描かない潜在予測モデル

MetaのV-JEPAシリーズは、未来を描こうとすらしません。V-JEPA 2は動画をコンパクトな表現にエンコードし、その表現がどう変化するかを予測します。全ピクセルを描画するより低コストで、それでも計画には十分です。Metaによると、オープンなロボットデータセットDROIDで学習し、ラボのロボットのデータは一切集めずにそのまま展開したところ、新しい環境で見慣れない物体をピック&プレースする成功率は65%〜80%でした(Meta AI)。

LeCun氏が何年も支持してきたのがこの陣営です。氏はその後Metaを離れましたが、AMI Labsは氏が2022年に提唱したJoint Embedding Predictive Architectureを土台にしています。

用語が増えてきたので、各社の売り文句でよく使われる言葉をまとめます。

ベンダーに確認したいのはaction-conditionedかどうかです。途中でこちらの入力を受け付けず、扱える3D状態も提供しないなら、それはラベルを貼り替えただけの動画生成AIです。

動画生成AIはワールドモデルに見えるが、突き詰めると違う

OpenAIは2024年のSora研究を、物理世界の汎用シミュレーターへの道として紹介しつつ、ガラスが割れるといった基本的な相互作用をモデルが正しく扱えないことも認めていました。Sora 2では進歩を示し、バスケットボール選手がシュートを外すと、ボールがゴールに瞬間移動せず、バックボードで跳ね返るようになったと説明しています。OpenAIはこのモデルを「完璧にはほど遠い」とも述べています(OpenAI)。

その後、製品自体が終了しました。OpenAIによると、SoraのウェブとアプリのサービスはAPIより前の今年前半に終了しており、ヘルプセンターではSora APIの停止は2026年内の後半とされています。事業上の判断ではありますが、「ワールドシミュレーター」はコンシューマー向け動画アプリに付けられた研究上の枠組みにすぎなかったことを思い出させてくれます。

独立した研究はもっと手厳しい内容です。Physics-IQベンチマークは、Sora、Runway、Pika、Lumiere、Stable Video Diffusion、VideoPoetを、流体力学、光学、固体力学、磁気、熱力学で試しました。結論は、物理的な理解は「きわめて限定的で、見た目のリアルさとは無関係」というものでした(arXiv)。別の研究では、単純な物理シミュレーションで動画モデルを訓練したところ、法則を学ぶのではなく最も近い学習例をコピーしていることがわかり、スケールだけでは物理法則は見つからないと結論づけています。

そのため、Veo 3.1やRunway Gen-4.5のような動画モデルは、優れたレンダラーだがシミュレーターとしては弱い、と考えてください。広告やストーリーボードならそれで十分です。濡れた床がどうなるかをロボットに教える映像として信頼するのは、分の悪い賭けです。動画が目的なら、まずAI動画生成ツールの比較とAI動画ジェネレーター一覧をご覧ください。

半導体メーカーと投資家が大金を投じる理由

AMDの買収は、この分野がどこへ向かっているかを最もはっきり示しています。同社はこの全額株式交換を約82億ドルと評価し、規制当局の承認を条件に2026年末までの完了を見込んでいます。Fei-Fei Li氏はエグゼクティブ・バイスプレジデント兼チーフサイエンティストとして、CEOのLisa Su氏の直属になります(AMD)。TechCrunchによると、AMDはWorld Labsの「フロンティア・ワークロード」が自社のチームのロードマップを形作ると見込んでおり、この買収を、Cosmosですでにオープンなワールドモデルを提供しているNVIDIAと競うための一手と位置づけています(TechCrunch)。

ベンチャー資金も同じ方向に動いています。以下の調達はいずれも今年発表されたものです。

AMI Labsはプレマネー評価額35億ドルで10.3億ドルを調達し、出資者にはNVIDIA、Samsung、Temasek、Toyota Venturesなどが名を連ねています(TechCrunch)。TechCrunchはまた、World Labsが10億ドルを調達し、そのうち2億ドルはAutodeskからで、売却合意のわずか数カ月前だったと報じています。Runwayは次世代ワールドモデルの事前学習のため、評価額53億ドルで3.15億ドルを調達しました。Odysseyは評価額14.5億ドルで3.1億ドルを調達し、AmazonとAMD Venturesが参加しています。

動機は大きく4つあります。1つ目は、半導体メーカーがワークロードを求めていることです。DeepMindのリサーチディレクターはTechCrunchに、Project Genieのセッション中は「どこかにあなた専用のチップがある」と語っています(TechCrunch)。

2つ目は、ロボティクスチームが、現実世界では集めるのが遅くリスクもある学習データを必要としていること。3つ目は、3Dコンテンツを手作業で作るとコストがかかること。4つ目は、言語だけではAIを物理世界に連れ出せないと考える研究所があることです。Lumaは昨年9億ドルを調達した際に、はっきりこう述べました。「宇宙をシミュレートするには、LLMとテキストでは足りない」。これらの出資者リストに、NVIDIAやAMDのベンチャー部門が何度も登場することにも注目してください。計算資源を売る企業が、それを使い果たす企業に資金を出しているのです。

今、実際に使えるもの

研究プレビューやウェイティングリストを除くと、リストはぐっと短くなります。今年、一般の人、あるいはクレジットカードを持つ開発者なら誰でも使えるものは次のとおりです。

価格は各ベンダーの公式ページによるものです(Marble pricing、Google AI plans)。目を引く点が2つあります。非開発者がお金を払ってファイルを持ち帰れるのは、ここではMarbleだけです。そして、最も印象的なデモであるProject Genieは、別の理由で元からUltraに加入している人でなければ、価格面で正当化しにくいでしょう。Googleは当初、18歳以上の米国の加入者だけに公開し、生成を60秒に制限していましたが、現在は140以上の国と地域を対象に挙げています。

次の比較表は、試す可能性が最も高い4つを、ベンダーのページで確認できた項目で比べたものです。

ロボティクス欄でMarbleが部分的な評価なのは、World LabsがWorld APIをロボティクスチーム向けに打ち出し、NVIDIA Isaacなどのシミュレーターとの連携も用意している一方、コンシューマー向けアプリはその用途を想定していないためです。

ワールドモデルを試す1週間プラン

1. 1Marbleの無料プランを開き、実在する部屋の写真からワールドを作ります。World Labsによると、完全なワールドは約5分、ドラフトは約20秒でできます(World Labs docs)。
2. 2同じ部屋をテキストプロンプトからも作ります。両方のバージョンを歩き回り、ぼやけたり溶けたりしている領域を探してください。そこがモデルが推測で補った場所です。
3. 3Google AI Ultraを契約しているなら、Project Genieで同じ部屋を作り直します。戸口から離れてまた戻り、何が変わったかを記録しましょう。
4. 4コードを書くなら、Hugging FaceからCosmos 3のチェックポイントを取得するか、GPUを確保する前にNVIDIAのカタログでホスト版のモデルを試してください。
5. 5ワールドモデルに任せたいタスクと、必要な出力(動画、splat、メッシュ、アクションのどれか)を1つ書き出します。どのツールを選ぶかは、どのデモよりも出力形式で決まります。

どこから始めればいいかわからない方へ。このツリーなら、2つ以下の質問で目的に合うものにたどり着けます。

ロボットではなく人間が使う場合のほとんどの経路は、Marbleにたどり着きます。残せる世界を手に入れるいちばん安上がりな方法です。

ワールドモデルのデモの見極め方

ワールドモデルのローンチ動画はSNS向けに編集されており、短く編集されたクリップはどのモデルも実力以上によく見せます。いくつかのチェックポイントで、その見せかけを見抜けます。

まず長さです。GoogleのGenie 3のページには、このモデルがサポートするのは「数時間に及ぶ長時間ではなく、数分間の継続的なインタラクション」だと明記されています(Google DeepMind)。前身のGenie 2では、例のほとんどが10〜20秒でした。15秒のクリップでは、どちらとも判断できません。

次に、戻ってくるかを見ます。難しいのは記憶です。Genie 3は変化を約1分間記憶し、RunwayもGWM Worlds 2の長期記憶は不完全だと述べています。すでに映した場所にカメラが一度も戻らないなら、なぜなのかを考えてみましょう。

誰が操作しているかも確認します。滑らかなシネマティックな動線は事前に計画できますが、人がキーを押せば遅延が露呈します。TechCrunchによるProject Genieの実機レビューでは、クレイアニメや水彩画のようなスタイライズされた世界は見栄えがよかったものの、操作への反応が鈍く、キャラクターが壁をすり抜けることがありました(TechCrunch)。

最後に、見た目と物理を切り分けます。Physics-IQは、動画モデルでこの2つが無関係であることを示しました。壮大な風景ばかりで衝突がないデモは、レンダリングのデモです。次にローンチ動画を見るときは、このスコアラーを使ってみてください。

編集済みの典型的なローンチ動画は、ここでは低いスコアになります。それはマーケティングだと受け止め、モデルを前提に作業を計画する前に、自分で実機テストをしてください。

まだ誰も解決していない限界

最初の壁は一貫性です。これらのモデルは、すでに生成した内容をもとに次の瞬間を生成するため、小さな誤差が積み重なります。TechCrunchによるDecartのOasis 3の検証では、長時間のセッションで運転ワールドの一貫性が崩れ、車が障害物をすり抜け、同じ場所に戻るとシーンの記憶が劣化していました(TechCrunch)。

2つ目はコストです。Oasis 3は1秒あたり$0.02で、1分で$1.20、運転シミュレーション1時間なら$72になります。GoogleがProject Genieを60秒に制限しているのは、各セッションが専用のハードウェアを占有するからです。一方、完成したゲームのレベルは、誰かがプレイするたびの追加コストがほとんどかかりません。

3つ目は評価で、最も議論されていません。ベンチマークはまだ新しく、モデルを公開している研究所自身が出したものも少なくありません。Meta自身の物理推論テストでは、人間が85%〜95%を記録し、最良のモデルとの間にはっきりした差があります(Meta AI)。NVIDIAは、Cosmos 3がワールド生成の複数のリーダーボードで1位だと主張しています。ベンダーによるランキングは、あくまでベンダーのランキングとして受け取ってください。

企業側もあまり多くを語りません。TechCrunchは今年、ワールドモデルのスタートアップが製品計画を明かしたがらないと報じており、AMI LabsのCEOも、自社は3カ月で製品を出すタイプのスタートアップではないと述べています。

待ったほうがいいのは誰でしょうか。今年、ゲーム、映像、建築で信頼できる制作パイプラインが必要な人です。ワールドモデルは下書きや参考資料には向いていますが、チームが検証済みのゲームエンジンや物理シミュレーターの代わりにはまだなりません。

クリエイター、ゲーム開発者、建築家、ロボティクスチームにとっての変化

最も早く価値を得られるのはクリエイターです。Marbleのワールドは、Gaussian splattingのプラグインを通じてUnreal Engine、Unity、Blender、Houdiniにエクスポートでき、カメラのフライスルーを動画として記録することもできます。プリビズやバーチャルセットでは、これは本物の近道です。ライセンスには注意してください。商用利用の権利は$35のProプランから付き、$20のStandardプランには含まれません(Marble pricing)。シーン全体ではなく単体のオブジェクトなら、3Dモデルジェネレーター一覧のほうが向いています。

ゲーム開発者は、当面ワールドモデルをブロッキングとコンセプト用のツールとして扱うべきです。Marbleの Chiselモードは、ラフな3D形状を詳細な世界に変えるので、初期のレベルレイアウトに向いています。生成されたワールドには、ゲームプレイのロジックも、調整された衝突判定も、パフォーマンス予算もありません。ゲームを出荷するうえで必要なのは、まさにそれらです。パイプラインの残りを担うアシスタントは、ゲーム開発者向けAIツール一覧で紹介しています。

建築家やインテリアデザイナーが次に続きます。Autodeskのチーフサイエンティストであるデーロン・グリーン氏はTechCrunchに、顧客はまず「World Labsでのワールドモデルベースのスケッチ(たとえばオフィスのレイアウト)」から始め、Autodeskのツールで仕上げる姿が想像できると語りました。現時点でクライアントに出せる品質が必要なら、AIインテリア・建築デザイン一覧とインテリアデザインツールのまとめで、より成熟した選択肢を紹介しています。

いちばん有力なユースケースがあるのは、ロボティクスのソフトウェアチームです。Cosmos 3は、自社のカメラ映像やロボットのデータでポストトレーニングし、クローズドループのシミュレーターとして動かす想定で作られています。World Labsによると、同社のreal-to-sim-to-realシステムは、現実のタスク1つを数千のシミュレーションバリエーションに変換し、各ポリシーのチェックポイントを2,000回のシミュレーション試行でテストします。そしてシミュレーションのスコアが実機のスコアとよく一致します。メリットはスクリーニングで、弱いチェックポイントが実機に触れる前に減らせます。World LabsはWorld APIをIsaac SimやMuJoCoなどのシミュレーターにも接続しているので、パイロット導入のためにチームが信頼しているシミュレーターを置き換える必要はありません。

よくある質問

ChatGPTはワールドモデルですか?

各研究所が言う意味では違います。ChatGPTはテキストを予測します。グラスがテーブルから落ちたら何が起きるかを説明できますが、ステップごとに行動できる状態は出力しません。LeCun氏がAMI Labsを立ち上げた理由は、言語モデルだけではそこに到達できないという主張に尽きます。

ワールドモデルを無料で試せますか?

はい。Marbleの無料プランでは最大4回のワールド生成ができ、NVIDIA Cosmos 3とMetaのV-JEPA 2のウェイトも、適切なGPUがあれば無料でダウンロードできます。Project Genieには有料のGoogle AI Ultraプランが必要です。

ワールドモデルはゲームエンジンに取って代わりますか?

当面はありません。インタラクティブな生成ワールドは数分で破綻しますし、これらのツールにはゲームルールもありません。現実的なのはハイブリッドな道筋で、ドラフトのワールドを生成してエクスポートし、Unreal、Unity、Blenderで仕上げるというものです。World Labsのエクスポートガイドも、すでにこのワークフローを前提にしています。

AMDがWorld Labsを買収すると、Marbleはどうなりますか?

両社とも何も発表していません。この取引にはまだ規制当局の承認が必要で、2026年末までの完了が見込まれています。World Labsによると、Justin JohnsonとBen MildenhallがAMD傘下でも引き続きチームを率います。クライアントワークがMarbleに依存しているなら、ワールドをエクスポートしてローカルにコピーを保存しておきましょう。

Soraはまだ使えますか?

いいえ。OpenAIによると、Sora製品は提供終了しています。ウェブとアプリのサービスは今年前半に終了しており、APIも2026年内の後半に続く予定でした。動画生成については、おすすめAI動画生成ツールガイドで、現在も利用できるツールを紹介しています。