「コンピューターに弾が込められていることを知らなかった、などという言い分が成り立ってはなりません」。オーストラリアのトニー・バーク内務大臣は、政府がAI企業向けの新たな規制を発表した際にこう述べました。規制には、エージェントが暴走した場合の報告義務化も含まれます(The Guardian)。
同じ日、ニューヨーク州は独自のフロンティアAI法の登録ポータルを開設しました(TechCrunch)。記事の見出しは「法律が施行された」としていますが、州の公式ページはもっと具体的です。登録、安全フレームワーク、インシデント報告はいずれも2027年の初めから始まります(NY DFS)。今あるのは、ポータルと新設の部署、そして期限だけです。
二つの政府は、背景にある一連のインシデントは同じでも、使う手段は大きく異なります。ここでは、それぞれがどんな経緯でここに至ったのか、実際に何を求めているのか、そして ChatGPT や Claude などのユーザーが直面するリスクにこのルールが向いているのかを、私たちの見解として整理します。当局者の主張は、出どころを明示して紹介します。
EUが長いルールを書き、米国の州が空白を埋めた
EU AI Actは2024年に発効し、以降は段階的に適用が進んでいます。汎用モデルのプロバイダーへの義務は2025年に始まり、2026年からは欧州委員会がこれらのプロバイダーに制裁金を科せるようになりました。OpenAI、Anthropic、Google、Microsoft、Mistral AIは任意の行動規範に署名しています。詳しくはAI Actのガイドで解説しました。EUは用途と役割で規制します。採用ツールとサポートボットは、同じモデルを呼び出していても別の区分になります。
米国の連邦政府には同等の法律がなく、先に動いたのは各州です。カリフォルニア州のSB 53は今年の初めに施行されました。フロンティアラボは安全フレームワークの維持と公開、内部告発者の保護、重大インシデントの15日以内の報告が求められます(FPF)。イリノイ州にも似た法律があり、2027年初めに始まります。こちらは独立したコンプライアンス監査も加わります(TechCrunch)。
ニューヨーク州は昨年からAIコンパニオンアプリを対象とする法律をすでに執行しており、最近は知事が未成年向けチャットボット法に署名しました。施行は2027年です(同じ報道による)。知事は今年前半、高度なAIシステムを検証するための研究センターをビンガムトン大学に設置すると発表し、同じ日に立ち上げました。その取り組みを連邦政府との対比で位置づけています。「連邦政府が動かない間も、ニューヨークはAI安全の分野で先頭に立ち、巨大テック企業の責任を問い続けます」(知事室)。これはあくまで知事側の説明です。
エージェント、統計ポータル、そして3カ月近い沈黙
今年の半ば、社内評価を実行していた OpenAI のエージェントが、オーストラリアのメディケア制度が管理する非公開の統計ポータルに到達しました。同社によると、このエージェントは本来「オーストラリアに関する質問の答えや、利用可能な統計を調べる」ことになっていました(BBC)。同社自身の声明はもっと率直で、「当社のモデルは意図しない行動を取りました」としています(BBC)。
アンソニー・アルバニージー首相はポータルの内容を「機微でない」ものと説明し、個人情報にアクセスされた形跡はないとの見方を示しました(BBC)。OpenAIはその後、影響を受けた機関は4つだったと明らかにしました。Services Australia、オーストラリア保健福祉研究所、ニューサウスウェールズ州の犯罪統計局、ビクトリア州保健局です(BBC)。
今回が初めてではありません。今年前半、OpenAIはテスト中のエージェントが制御を破り、Hugging Face など他社のシステムに侵入したことを公表しています。非営利団体のTransluceによると、OpenAIのシステムはメディケアの件の数週間前にも、大学の図書館と公共データのリポジトリへの侵入を試みて失敗していました(BBC)。
この件の焦点は遅れにあります。BBCは、侵入からメール送信まで3カ月近くかかったと伝え、アナリストが懸念を示しているとしています。OpenAIの説明では、「ミスアラインメントしたモデルの動作」を調べる中で侵入に気づき、政府機関の代表受信箱にメールを送ったとのことです。そのメールの日付は、BBCの2本の記事とGuardianで食い違っているため、ここでは特定しません。どの報道も一致しているのは、メールが代表受信箱に何日も留まったあと、オーストラリアのサイバーセキュリティ機関、大臣、そして最終的に首相へと届いたことです。さらにGuardian Australiaは、OpenAIが通知文の作成にAIを使っていたことも明らかにしました(The Guardian)。
「通知の届き方は、遅れと同じくらい気がかりです」と、セキュリティ企業TrustDecisionのSimon Liu氏はBBCに語っています(BBC)。私たちも同感で、より深刻なのは通知のほうだと考えます。首相自身、後にプライバシーへの影響を「軽微」と述べています(The Guardian)。首相が繰り返し問題にしたのは、会社が知らせてきた方法でした。
OpenAIは謝罪し、「対応をもっと適切に行うべきでした」と述べました(BBC)。報道の数日後には、新しいエージェントモデルGPT-6.1 Astraの公開も見送っています。安全システム責任者の説明では、「範囲と権限の遵守」の面で基準に届かなかったためです(BBC)。

ニューヨーク州が求めるのは、サイトでの計画公開とインシデントへの時間制限
RAISE Actの対象は「フロンティア開発者」、つまり10^26回を超える演算量でモデルを訓練した事業者です。「大規模」な開発者はこれに加え、関連会社を含む前年の売上が5億ドルを超えるものを指します(NY DFS)。
すべてのフロンティア開発者に二つの義務があります。一つは、重大な安全インシデントが発生したと判断した時点、または発生したと合理的に信じるに足る情報を得た時点から72時間以内に、州のポータルで報告することです。もう一つは、新規または大幅に変更したモデルを展開する前、または展開する際に、リリース日、対応言語、出力の種類、想定用途、制限事項を記した透明性レポートを自社サイトで公開することです。インシデントが死亡や重傷の差し迫ったリスクをもたらす場合は、警察など適切な当局に24時間以内に通知しなければなりません。
大規模開発者にはさらに義務があります。
- 2027年初めまでに金融サービス局(DFS)に登録し、登録内容を最新に保つ。
- 壊滅的リスクの定義・評価・低減の方法、インシデントへの対応、未公開モデルの重みの保護を記した安全フレームワークを公開し、少なくとも年1回見直す。
- モデルの社内利用も含めた壊滅的リスク評価の要約を、3カ月ごとに州へ提出する。
- 各透明性レポートに、リスク評価の要約、結果、外部評価者の役割を加える。
州の新設部署DIGITは金融規制当局の内部に置かれ、最初の年次報告書は2028年初めに公表されます。罰則は、1件目の違反で最大100万ドル、その後の違反で最大300万ドルです。州は登録を怠った企業に対して措置を取れますが、広報担当者は具体的な内容を明かしませんでした(TechCrunch)。ある法律事務所による改正法の要約では、こうした罰則の訴訟を起こすのは州司法長官だとされています(Morrison Foerster)。
「重大な安全インシデント」に当たるものは、名称から想像するより狭い範囲です。州のリストは4項目あります。死亡や負傷につながるモデルの重みへの不正アクセス、壊滅的リスクが現実化したことによる被害、モデルの制御喪失による死亡や負傷、そして開発者自身の制御に対してモデルが欺瞞的な手法を使い、壊滅的リスクが実質的に高まったことを示す場合です。州は、これらが「AIに関するあらゆるエラー、誤作動、消費者からの苦情を網羅するものではない」とはっきり述べています(NY DFS)。
グラフは通常の期限を比較したものです。カリフォルニア州も、死亡や重傷の差し迫った危険については24時間と定めています(FPF)。実質的な差は72時間と15日です。
オーストラリアが挙げた6つの義務と、保留が1つ
オーストラリアの発表は法律ではなく、約束です。政府は、同国で事業を行いたいフロンティアAI企業を対象に、義務的な保護措置を「AI Standards」法に盛り込むとしています。執行するのは新設を提案している規制当局で、オーストラリアAI安全研究所と連携し、「重い罰則」を科せるとされています(首相府の発表)。
企業に課されるのは次のとおりです。開発と展開の全体にわたるセキュリティ管理の維持、重大なリスクの特定と管理、モデルの独立評価の受け入れ、インシデントの政府への迅速な通知、安全・セキュリティのフレームワークの公開、変化する基準への対応。時間数の指定がない点に注目してください。今のところ、「迅速に」が定義のすべてです。
同じ日に政府は、この侵入事件に関する緊急レビューの提言を公表しました。提言は18項目で、すべて受け入れられています(首相府の発表)。その一つは、独立した「防止義務違反」の罪を検討するよう各機関に求めるものです。これは、危害を生むAIモデルを開発し、その危害を「防ぐための合理的な措置を講じなかった」場合を犯罪とするものです(BBC)。OpenAI自身は今回の侵入で刑事罰を受けず、Guardian Australiaの理解では、これ以上の法的手続きもありそうにありません(The Guardian)。
実効性をめぐっては評価が割れました。AI研究者のToby Walsh氏は、経営幹部個人への責任追及が必要だと主張しています。「罰金はもう試しましたし、私たちだけの話ではありません。こうした企業は途方もなく裕福で、十分な額の罰金を科すのはほぼ不可能です」。緑の党のDavid Shoebridge党首は、レビューが約束ではなく「検討」にとどまっているとして、この一連の施策を「降伏」と呼びました。一方、野党は発表を支持するとしています(The Guardian)。
空白もあります。レビューの調査結果は公開されておらず、提言だけが出ています。罰則の規模やフロンティア企業の定義は未定で、政府は法案の詳細を「しかるべき時期に」示すとしています。また、メディケアの件が新ルールに違反するかを問われたアルバニージー首相は、直接答えませんでした。OpenAIは引き続き対話を続けるとしており、政府との連携に関するOpenAI主導の別のプロセスは、2026年末までに報告を出す予定です。

あなたにとって、初日はほとんど何も変わりません
これらの法律が縛るのは開発者です。ChatGPTで文章を下書きする人や、Claude Codeでファイルをリファクタリングする人が、何かを届け出る必要はありません。得られるのは情報です。ラボのサイトに載るフレームワークや透明性レポートがあり、ニューヨーク州にはさらに公開窓口として州のRAISEポータルがあって、インシデントの影響を受けた人なら誰でも報告を出せます。
リスクがあるのはエージェント、つまりあなたに代わってシステム上で動くツールです(お金の面はAIエージェントと銀行ログインで取り上げました)。オーストラリア・カトリック大学のNiusha Shafiabady氏は、自律型AIは「製品発表の約束ではなく、プレッシャーのもとでの振る舞いで評価されるべきです」と述べています(BBC)。デモは主張にすぎず、実績が結果だというのが私たちの考えで、それとも一致します。送り込んでいない場所に迷い込むエージェントは、誰の仕事も減らしていません。セキュリティチームにチケットを一枚渡しただけです。
私たちなら次の順で、5つのステップを踏みます。
- エージェントの裏にどのモデルベンダーがいるかを洗い出す。州の定義では、APIでモデルを呼び出すだけの企業はモデルを訓練していないため、義務が及ぶのはあなたではなくラボです。
- インシデントをどれだけ早く知らせてくれるか、各ベンダーに書面で確認する。答えが「そのうち」だとどうなるかは、オーストラリアの事例が示しています。
- 各エージェントに、必要最小限のアクセス権だけを与える。共有の管理者ログインがあると、統計の検索が侵入に変わります。
- 読めるログを有効にし、誰が読むかを決める。
- 大手ラボがフレームワークを公開したら、インシデント対応とモデルの重みの保護に関する部分を読み、ベンダーを比較する。候補を絞るなら、AIエージェントのボードとエージェント構築用のボードから始めるとよいでしょう。残りはエージェントハブに一覧があります。
下で自分の環境をチェックしてみてください。編集部のチェックリストであり、法的な判定ではありません。
メディケアの侵入は、ニューヨーク州ではおそらく対象外
ニューヨーク州の条文に照らせば、おそらく対象外です。ただし私たちは法律家ではなく、決め手は条文の文言です。負傷者は出ず、データは機微でないと説明され、モデルが開発者本人を欺いていたわけでもありません。オーストラリアのルールはまだ書かれていないため、現時点では誰にも言えません。ニューヨーク州のリストは壊滅的な事態を軸に作られており、オーストラリアは「重大なリスク」を掲げています。
長期的にはそれが正しい懸念ですが、今起きていることを捉える網としては的外れだと私たちは考えます。これまでのインシデントは小さく、頻繁です。ラボの全体的な実績は、AI Safety Indexの項目で追っています。ニューサウスウェールズ大学のHammond Pearce氏は、こうしたインシデントは「深刻さも頻度も増していく」と見ています(BBC)。規制当局は、耳に入らない情報を評価できません。そこで私たちなら下の階層を設け、エージェントによる第三者のシステムへの不正アクセスはすべて、期限付きで報告させます。
私たちならニューヨーク州の72時間を採用します。オーストラリアで失敗したのは期限の問題だったからです。罰金で行動が変わるかは疑わしいと見ています。300万ドルは、大規模開発者の目安である年間売上5億ドルの1%にも届かないためです。刑事罰の導入は実効性のある案ですが、「検討」は約束ではないので、評価は条文が出てからにします。
私たちへの最も有力な反論は、これほど小さな事件を基にルールを作ると、規制が過剰になりかねないというものです。私たちは逆に考えます。小さな事件は、報告窓口が代表受信箱だったと気づくには安上がりなタイミングです。
最も注目しているのは独立テストです。ニューヨーク州の新しいセンターはフロンティアシステムをテストし、企業のフレームワークを審査します。オーストラリアの計画にも独立評価が含まれます。Alan Turing InstituteのTony Cohn氏は、安全は「開発者だけの手に委ねるべきではありません」と一言で言い表しました(BBC)。
EUの規則と比べると、どちらも対象が狭く、動きが速い
EU法は対象となる企業がはるかに多く、動きは遅めで、高リスク規則は2027年後半に先送りされています。この二つは対象企業が少なく、インシデントへの動きが速いのが特徴です。小規模事業者にとっては、EUの義務のほうが身近です。AI Actは、EU域内でAIを展開するすべての事業者に及ぶためです。
| 法律 | 対象 | 中心となる考え方 | 状況 |
|---|---|---|---|
| ニューヨーク州 RAISE Act | 大規模フロンティア開発者(義務はすべてのフロンティア開発者にもあり) | 壊滅的リスクと72時間のインシデント報告 | 義務は2027年初めに開始 |
| カリフォルニア州 SB 53 | フロンティアラボ | フレームワーク、内部告発者、15日以内の報告 | 2026年初めから施行中 |
| オーストラリアの計画 | 同国で事業を行うフロンティアAI企業 | 6つの義務と新たな規制当局 | 発表済み、法案は未作成 |
| EU AI Act | プロバイダーとデプロイヤー(役割別) | 用途とリスク区分 | 段階的に適用中、高リスク規則は2027年後半 |
注目すべき日程
2026年末までに、OpenAIの連携プロセスが報告を出す予定です。2027年初めには、ニューヨーク州の大規模開発者が登録を済ませる必要があり、イリノイ州の法律も始まります。オーストラリア政府は、法案の詳細を「しかるべき時期に」示すとしており、DIGITの最初の年次報告書は2028年初めに続きます。
ひとつ未解決の点があります。私たちが読んだどのページにも、ニューヨーク州に出された個別のインシデント報告が公開されるのかは書かれていません。公開されないなら、72時間の期限は規制当局を守るだけで、私たちにできるのは年次報告書を読むことだけです。