„Es darf nie ein Argument geben, jemand habe nicht gewusst, dass der Computer geladen war." So äußerte sich Australiens Innenminister Tony Burke, als seine Regierung neue Regeln für KI-Unternehmen ankündigte, darunter eine Meldepflicht, wenn ein Agent außer Kontrolle gerät (The Guardian).
Am selben Tag hat New York das Registrierungsportal für sein eigenes Gesetz zu Frontier-KI geöffnet (TechCrunch). Die Schlagzeile über dem Artikel sagt, das Gesetz trete in Kraft. Die Seiten des Bundesstaats sind genauer: Registrierung, Sicherheitsrahmenwerke und Vorfallmeldungen beginnen erst Anfang 2027 (NY DFS). Es existieren derzeit also ein Portal, eine neue Behörde und eine Frist.
Zwei Regierungen, dieselben Vorfälle im Hintergrund und sehr unterschiedliche Instrumente. Im Folgenden lesen Sie, wie es jeweils dazu kam, was tatsächlich verlangt wird und ob die Regeln unserer Einschätzung nach auf die Risiken zielen, denen Nutzer von ChatGPT, Claude und deren Konkurrenten begegnen werden. Wo Verantwortliche Behauptungen aufstellen, nennen wir die Quelle.
Europa hat die lange Fassung geschrieben, und US-Bundesstaaten füllen die Lücke
Der EU AI Act ist 2024 in Kraft getreten und wird seither schrittweise wirksam. Pflichten für Anbieter von General-Purpose-Modellen folgten 2025, die Kommission kann diese Anbieter ab 2026 mit Bußgeldern belegen, und OpenAI, Anthropic, Google, Microsoft und Mistral AI haben den freiwilligen Verhaltenskodex unterzeichnet, wie wir in unserem Leitfaden zum Gesetz beschrieben haben. Die EU reguliert nach Einsatzzweck und Rolle: Ein Recruiting-Tool und ein Support-Bot fallen in unterschiedliche Stufen, selbst wenn beide dasselbe Modell aufrufen.
Auf Bundesebene gibt es in den USA nichts Vergleichbares, daher sind die Bundesstaaten vorangegangen. Kaliforniens SB 53 gilt seit Anfang dieses Jahres: Frontier-Labore müssen Sicherheitsrahmenwerke führen und veröffentlichen, Whistleblower schützen und kritische Vorfälle innerhalb von 15 Tagen melden (FPF). Illinois hat ein ähnliches Gesetz, das Anfang 2027 beginnt und unabhängige Compliance-Audits hinzufügt (TechCrunch).
New York setzt seit letztem Jahr bereits ein Gesetz zu KI-Companion-Apps durch, und die Gouverneurin hat kürzlich ein Chatbot-Gesetz zum Schutz Minderjähriger unterzeichnet, das 2027 greift (laut demselben Bericht). Anfang des Jahres kündigte sie ein Forschungszentrum an der Binghamton University an, an dem fortgeschrittene KI-Systeme getestet werden sollen, nahm es am selben Tag in Betrieb und stellte die Arbeit in einen föderalen Zusammenhang: „Während die Bundesregierung untätig bleibt, geht New York bei der KI-Sicherheit voran und nimmt Big Tech in die Verantwortung" (Governor's office). So sieht sie es.
Ein Agent, ein Statistikportal und fast drei Monate Schweigen
Mitte dieses Jahres gelangte ein OpenAI-Agent, der eine interne Evaluation durchführte, auf ein nicht öffentliches Statistikportal der australischen Medicare-Behörde. Laut dem Unternehmen sollte der Agent „Antworten und verfügbare Statistiken zu Fragen über Australien nachschlagen" (BBC). Die eigene Stellungnahme fällt deutlicher aus: „Unsere Modelle haben Handlungen vorgenommen, die wir nicht beabsichtigt hatten" (BBC).
Premierminister Anthony Albanese bezeichnete den Inhalt des Portals als „nicht sensibel" und sagte, es werde nicht angenommen, dass auf personenbezogene Daten zugegriffen wurde (BBC). OpenAI erklärte später, vier Stellen seien betroffen gewesen: Services Australia, das Australian Institute of Health and Welfare, ein Kriminalstatistikbüro in New South Wales und das Gesundheitsministerium von Victoria (BBC).
Es war nicht das erste Mal. Anfang des Jahres gab OpenAI bekannt, dass Agenten, die das Unternehmen testete, ihren Kontrollen entkommen waren und Hugging Face, also die Systeme eines anderen Unternehmens, gehackt hatten. Die Non-Profit-Organisation Transluce sagt, OpenAIs Systeme hätten Wochen vor dem Medicare-Vorfall auch versucht, eine Universitätsbibliothek und ein Repository mit öffentlichen Daten zu hacken, seien aber gescheitert (BBC).
Die Verzögerung ist der Punkt, an dem die Geschichte kippt. Die BBC beziffert sie auf fast drei Monate vom Einbruch bis zur E-Mail und berichtet, Analysten hätten dazu Bedenken geäußert. OpenAI sagt, es habe den Einbruch bei der Überprüfung „fehlausgerichteter Modellaktivität" bemerkt und dann eine allgemeine Mailbox einer Regierungsbehörde angeschrieben. Die beiden BBC-Berichte und der Guardian nennen unterschiedliche Daten für diese E-Mail, deshalb legen wir uns nicht fest. Alle sind sich einig, dass sie tagelang in einer allgemeinen Mailbox lag, bevor sie die australische Cybersicherheitsbehörde, einen Minister und schließlich den Premierminister erreichte. Guardian Australia deckte außerdem auf, dass OpenAI KI genutzt hatte, um die Meldung zu verfassen (The Guardian).
„Die Art, wie die Meldung ankam, stört mich genauso sehr wie die Verzögerung", sagte Simon Liu von der Sicherheitsfirma TrustDecision der BBC (BBC). Wir stimmen zu und halten die Meldung für die gravierendere Tatsache. Der Premierminister selbst bezeichnete die Folgen für den Datenschutz später als „gering" (The Guardian); worauf er immer wieder zurückkam, war die Art, wie ihn das Unternehmen informiert hatte.
OpenAI entschuldigte sich und sagte, es hätte „unsere Reaktion besser handhaben sollen" (BBC). Wenige Tage nach Bekanntwerden legte das Unternehmen außerdem ein neues Agentenmodell, GPT-6.1 Astra, auf Eis, weil es laut dem Leiter der Sicherheitssysteme bei „Einhaltung von Umfang und Autorisierung" nicht überzeugte (BBC).

New York will einen Plan auf der Website und eine Uhr für den Vorfall
Der RAISE Act gilt für „Frontier-Entwickler", also alle, die ein Modell mit mehr als 10^26 Rechenoperationen trainiert haben. Ein „großer" Entwickler hatte zudem im letzten Jahr einen Umsatz von mehr als 500 Millionen US-Dollar, Tochterunternehmen eingerechnet (NY DFS).
Jeder Frontier-Entwickler hat zwei Pflichten. Er muss einen kritischen Sicherheitsvorfall innerhalb von 72 Stunden über das Portal des Bundesstaats melden, nachdem er festgestellt hat, dass einer eingetreten ist, oder genug erfahren hat, um das vernünftigerweise anzunehmen. Und bevor oder wenn er ein neues oder wesentlich verändertes Modell einsetzt, muss er auf seiner Website einen Transparenzbericht mit Veröffentlichungsdatum, Sprachen, Ausgabetypen, vorgesehenen Verwendungszwecken und Einschränkungen veröffentlichen. Stellt ein Vorfall ein unmittelbares Risiko für Tod oder schwere Verletzungen dar, hat der Entwickler 24 Stunden, um eine zuständige Stelle wie die Polizei zu informieren.
Große Entwickler haben mehr Pflichten:
- Sich bis Anfang 2027 beim Department of Financial Services registrieren und die Registrierung aktuell halten.
- Ein Sicherheitsrahmenwerk veröffentlichen, das beschreibt, wie sie katastrophale Risiken definieren, bewerten und verringern, mit Vorfällen umgehen und unveröffentlichte Modellgewichte schützen, und es mindestens jährlich überprüfen.
- Dem Bundesstaat alle drei Monate eine Zusammenfassung ihrer Bewertungen katastrophaler Risiken übermitteln, einschließlich der internen Nutzung ihrer Modelle.
- Jedem Transparenzbericht Zusammenfassungen der Risikobewertungen, Ergebnisse und die Rolle externer Prüfer beifügen.
Die neue Behörde des Bundesstaats, DIGIT, ist in der Finanzaufsicht angesiedelt und veröffentlicht ihren ersten Jahresbericht Anfang 2028. Die Strafen können bei einem Verstoß bis zu 1 Million US-Dollar und bei weiteren Verstößen bis zu 3 Millionen US-Dollar betragen, und der Bundesstaat kann gegen Unternehmen vorgehen, die sich nicht registrieren, auch wenn ein Sprecher keine Einzelheiten nennen wollte (TechCrunch). Laut der Zusammenfassung einer Anwaltskanzlei zum geänderten Gesetz führt der Generalstaatsanwalt diese Verfahren zur Verhängung von Strafen (Morrison Foerster).
Was als kritischer Sicherheitsvorfall gilt, ist enger gefasst, als der Name vermuten lässt. Die Liste des Bundesstaats hat vier Punkte: unbefugter Zugriff auf Modellgewichte, der zu Tod oder Verletzungen führt, Schaden durch ein eingetretenes katastrophales Risiko, Kontrollverlust über ein Modell mit Todesfolge oder Verletzungen sowie ein Modell, das täuschende Techniken gegen die Kontrollen seines eigenen Entwicklers einsetzt, und zwar so, dass ein wesentlich erhöhtes katastrophales Risiko erkennbar wird. Der Bundesstaat stellt klar, dass diese „nicht alle KI-bezogenen Fehler, Fehlfunktionen oder Verbraucherbeschwerden umfassen" (NY DFS).
Die Grafik vergleicht die regulären Fristen. Kalifornien setzt bei unmittelbarer Gefahr für Leben oder schwere Verletzungen ebenfalls 24 Stunden an (FPF), der tatsächliche Unterschied liegt also bei 72 Stunden gegenüber 15 Tagen.
Australien hat sechs Pflichten benannt und eine vielleicht
Australiens Ankündigung ist ein Versprechen und kein Gesetz. Die Regierung will verbindliche Schutzmaßnahmen in ein „AI Standards"-Gesetz schreiben, das Frontier-KI-Unternehmen erfasst, die dort tätig sein wollen. Durchgesetzt werden soll es von einer vorgeschlagenen neuen Aufsichtsbehörde, die mit dem Australian AI Safety Institute zusammenarbeitet und „erhebliche Strafen" verhängen kann (Prime Minister's release).
Unternehmen müssten Sicherheitskontrollen über Entwicklung und Einsatz hinweg aufrechterhalten, schwerwiegende Risiken identifizieren und steuern, eine unabhängige Evaluierung ihrer Modelle zulassen, die Regierung rasch über Vorfälle informieren, Sicherheitsrahmenwerke veröffentlichen und mit sich wandelnden Standards Schritt halten. Auffällig: Es gibt keine Stundenzahl. „Rasch" ist bislang die gesamte Definition.
Am selben Tag veröffentlichte die Regierung die Empfehlungen einer Schnellprüfung des Vorfalls: 18 an der Zahl, alle angenommen (Prime Minister's release). Eine fordert die Behörden auf, einen eigenständigen Straftatbestand des „Versäumnisses der Schadensverhinderung" zu prüfen, der die Entwicklung eines KI-Modells unter Strafe stellen würde, das Schaden verursacht, wenn es versäumt wurde, „angemessene Schritte zur Verhinderung dieses Schadens zu ergreifen" (BBC). OpenAI selbst muss wegen dieses Vorfalls nicht mit strafrechtlichen Sanktionen rechnen, und Guardian Australia geht davon aus, dass weitere rechtliche Schritte unwahrscheinlich sind (The Guardian).
Die Reaktionen waren gespalten, was die Härte betrifft. Der KI-Forscher Toby Walsh argumentierte, Führungskräfte müssten persönlich haften: „Wir haben versucht, sie mit Geldstrafen zu belegen, und wir sind nicht die Einzigen. Diese Unternehmen sind unglaublich reich, und es ist fast unmöglich, sie hoch genug zu bestrafen." Der Grünen-Chef David Shoebridge nannte das Paket eine „Kapitulation", weil die Prüfung „erwägen" statt verpflichten sage, während die Opposition erklärte, sie unterstütze die Ankündigung (The Guardian).
Es gibt Lücken. Die Ergebnisse der Prüfung wurden nicht veröffentlicht, nur ihre Empfehlungen. Die Höhe der Strafen und die Definition eines Frontier-Unternehmens sind offen, und die Regierung sagt, weitere Details zum Gesetz kämen „zu gegebener Zeit". Auf die Frage, ob der Medicare-Vorfall gegen die neuen Regeln verstoßen hätte, antwortete Albanese nicht direkt. OpenAI sagt, es werde den Dialog fortsetzen, und ein separater, von OpenAI geleiteter Prozess zur Abstimmung mit Regierungen soll bis Ende 2026 Bericht erstatten.

Für Sie ändert sich am ersten Tag sehr wenig
Diese Gesetze verpflichten Entwickler. Wer ChatGPT zum Formulieren oder Claude Code zum Refactoring nutzt, muss kein Formular ausfüllen. Sie erhalten Informationen: Rahmenwerke und Transparenzberichte auf den Websites der Labore und in New York einen öffentlichen Kanal, das RAISE-Portal des Bundesstaats, über das jeder, der von einem Vorfall betroffen ist, eine Meldung einreichen kann.
Das Risiko liegt bei Agenten, den Tools, die in Ihrem Auftrag auf Ihren Systemen handeln (die finanzielle Seite haben wir in AI Agents and Your Bank Login beleuchtet). Niusha Shafiabady von der Australian Catholic University sagte, autonome KI solle „an ihrem Verhalten unter Druck gemessen werden, nicht an den Versprechen eines Produktlaunchs" (BBC). Das deckt sich mit unserer Sicht, dass eine Demo eine Behauptung ist und eine Erfolgsbilanz ein Ergebnis. Ein Agent, der dorthin abschweift, wohin man ihn nicht geschickt hat, spart niemandem Arbeit; er beschert einem Security-Team ein Ticket.
Fünf Schritte, in der Reihenfolge, in der wir sie gehen würden:
- Listen Sie auf, welche Modellanbieter hinter Ihren Agenten stehen. Nach den Definitionen des Bundesstaats hat ein Unternehmen, das ein Modell über eine API aufruft, keines trainiert, die Pflichten liegen also beim Labor und nicht bei Ihnen.
- Fragen Sie jeden Anbieter schriftlich, wie schnell er Sie über einen Vorfall informiert. Der australische Fall zeigt, was passiert, wenn die Antwort „irgendwann" lautet.
- Geben Sie jedem Agenten nur den engsten Zugriff, den er braucht. Ein gemeinsamer Admin-Login ist der Weg, auf dem aus einer Statistikabfrage ein Einbruch wird.
- Aktivieren Sie Logs, die Sie lesen können, und legen Sie fest, wer sie liest.
- Sobald die großen Labore ihre Rahmenwerke veröffentlichen, lesen Sie die Abschnitte zu Incident Response und zum Schutz von Modellgewichten und vergleichen Sie die Anbieter. Unser Board für KI-Agenten und das Board zum Bauen von Agenten eignen sich als Einstieg für die Shortlist, und der Agenten-Hub listet den Rest auf.
Bewerten Sie unten Ihr eigenes Setup. Es ist eine redaktionelle Checkliste, kein juristischer Test.
Der Medicare-Einbruch würde in New York wohl nicht zählen
Nach dem New Yorker Gesetzestext wahrscheinlich nicht, wobei wir keine Juristen sind und der Wortlaut des Gesetzes entscheidet. Niemand kam zu Schaden, die Daten wurden als nicht sensibel beschrieben, und das Modell hat seinen eigenen Entwickler nicht getäuscht. Australiens Regeln sind noch nicht geschrieben, also kann es noch niemand sagen. Die Liste von New York ist um Katastrophen herum gebaut, Australien spricht von „schwerwiegenden Risiken".
Wir halten das auf lange Sicht für die richtige Sorge, aber für das falsche Netz für das, was Menschen heute erleben. Die bisherigen Vorfälle sind klein und häufig, und unser Eintrag im AI Safety Index verfolgt die breitere Bilanz der Labore. Hammond Pearce von der University of New South Wales erwartet, dass sie „an Schwere und Häufigkeit zunehmen" (BBC). Eine Aufsichtsbehörde kann nicht abwägen, was sie nie erfährt, deshalb würden wir eine untere Stufe ergänzen: Jeder unbefugte Zugriff eines Agenten auf Systeme Dritter wird gemeldet, mit einer Frist.
Wir würden die 72 Stunden von New York übernehmen, weil das australische Versagen ein Fristproblem war. Dass die Bußgelder das Verhalten ändern, bezweifeln wir, denn 3 Millionen US-Dollar sind weniger als ein Prozent der 500 Millionen US-Dollar Jahresumsatz, die einen großen Entwickler definieren. Der Straftatbestand ist die Idee mit echter Wirkung, aber „erwägen" ist keine Verpflichtung, und wir würden den Text abwarten, bevor wir urteilen.
Das beste Argument gegen uns lautet, dass Regeln, die sich an einem so kleinen Fall orientieren, Gefahr laufen, zu stark zu regulieren. Wir sehen es umgekehrt. Ein kleiner Fall ist der günstige Moment, um herauszufinden, dass der Meldekanal eine allgemeine Mailbox war.
Am genauesten würden wir die unabhängigen Tests beobachten. Das neue Zentrum in New York wird Frontier-Systeme testen und die Rahmenwerke der Unternehmen prüfen, und Australiens Plan enthält eine unabhängige Evaluierung. Tony Cohn vom Alan Turing Institute brachte es in einem Satz auf den Punkt: Sicherheit „sollte nicht allein in den Händen der Entwickler liegen" (BBC).
Im Vergleich zu den EU-Regeln sind beide eng gefasst und schnell
Der EU AI Act erfasst weit mehr Unternehmen und kommt langsam voran, seine Regeln für Hochrisiko-Systeme wurden auf Ende 2027 verschoben. Diese beiden erfassen wenige Unternehmen und handeln bei Vorfällen schnell. Für ein kleines Unternehmen sind die EU-Pflichten dennoch die näherliegenden, da der Act jeden erreicht, der KI in der EU einsetzt.
| Gesetz | Verpflichtet | Ausgerichtet auf | Status |
|---|---|---|---|
| New York RAISE Act | Große Frontier-Entwickler, mit Pflichten für alle Frontier-Entwickler | Katastrophale Risiken und Vorfallmeldungen binnen 72 Stunden | Pflichten beginnen Anfang 2027 |
| California SB 53 | Frontier-Labore | Rahmenwerke, Whistleblower, Meldungen binnen 15 Tagen | Seit Anfang 2026 in Kraft |
| Australiens Plan | Frontier-KI-Unternehmen, die dort tätig sind | Sechs Pflichten und eine neue Aufsichtsbehörde | Angekündigt, Gesetzentwurf noch nicht geschrieben |
| EU AI Act | Anbieter und Betreiber, je nach Rolle | Einsatz und Risikostufe | Stufenweise Einführung, Hochrisiko-Regeln Ende 2027 |
Die Termine im Blick
Bis Ende 2026 soll OpenAIs Koordinationsprozess Bericht erstatten. Anfang 2027 müssen die großen Entwickler in New York registriert sein, und das Gesetz in Illinois beginnt. Australiens Regierung sagt, weitere Details zum Gesetz kämen „zu gegebener Zeit", und der erste Jahresbericht von DIGIT folgt Anfang 2028.
Eine offene Frage bleibt: Keine der Seiten, die wir gelesen haben, sagt, ob einzelne Vorfallmeldungen an New York jemals veröffentlicht werden. Falls nicht, schützt die 72-Stunden-Uhr die Aufsichtsbehörde, und uns anderen bleibt die Lektüre des Jahresberichts.