"누군가 컴퓨터에 총알이 장전된 줄 몰랐다고 주장할 여지가 있어서는 안 됩니다." 호주 내무부 장관 토니 버크(Tony Burke)의 말입니다. 호주 정부는 에이전트가 통제를 벗어났을 때 의무적으로 보고하도록 하는 내용을 포함해 AI 기업을 대상으로 한 새 규칙을 발표했습니다(The Guardian).
같은 날 뉴욕은 자체 프런티어 AI 법의 등록 포털을 열었습니다(TechCrunch). 해당 기사 제목은 법이 시행된다고 하지만, 주정부 페이지는 더 구체적입니다. 등록, 안전 프레임워크, 사고 보고는 모두 2027년 초부터 시작됩니다(NY DFS). 지금 존재하는 것은 포털과 신설 기구, 그리고 마감 기한뿐입니다.
두 정부, 그 배경에 있는 하나의 사건들, 그리고 매우 다른 수단. 아래에서는 각자 어떻게 여기까지 왔는지, 실제로 무엇을 요구하는지, 그리고 이 규칙이 ChatGPT, Claude 같은 도구를 쓰는 사람들이 마주할 위험을 제대로 겨냥하고 있는지 살펴봅니다. 관계자의 주장은 출처를 밝혀 적었습니다.
유럽이 긴 버전을 썼고, 미국 각 주가 그 공백을 메웠습니다
EU AI Act는 2024년에 발효되어 이후 단계적으로 적용되고 있습니다. 범용 모델 제공자에 대한 의무는 2025년에 시작됐고, 2026년부터는 EU 집행위원회가 이들 제공자에게 과징금을 부과할 수 있습니다. OpenAI, Anthropic, Google, Microsoft, Mistral AI는 자발적 행동 강령에 서명했습니다. 자세한 내용은 AI Act 가이드에서 다뤘습니다. EU는 용도와 역할에 따라 규제합니다. 채용 도구와 고객 지원 봇은 같은 모델을 호출하더라도 서로 다른 등급에 속합니다.
미국 연방정부에는 이에 해당하는 법이 없어서 주들이 먼저 움직였습니다. 캘리포니아의 SB 53은 올해 초 시행됐습니다. 프런티어 연구소는 안전 프레임워크를 유지하고 공개해야 하며, 내부고발자를 보호하고, 중대한 사고를 15일 이내에 보고해야 합니다(FPF). 일리노이에는 비슷한 법이 2027년 초에 시작되며, 여기에는 독립적인 규정 준수 감사가 추가됩니다(TechCrunch).
뉴욕은 이미 작년부터 AI 동반자 앱 관련 법을 집행해 왔고, 주지사는 최근 미성년자 대상 챗봇 법에 서명했습니다. 이 법은 2027년에 시작됩니다(같은 보도 기준). 주지사는 올해 초 첨단 AI 시스템을 시험할 연구 센터를 빙엄턴 대학교에 설립한다고 발표하고 같은 날 출범시켰으며, 이 일을 연방 차원의 문제와 연결해 설명했습니다. "연방정부가 손을 놓고 있는 동안 뉴욕은 AI 안전을 선도하고 빅테크에 책임을 묻고 있습니다"(주지사실). 어디까지나 주지사 측의 설명입니다.
에이전트 하나, 통계 포털 하나, 그리고 거의 석 달의 침묵
올해 중반, 내부 평가를 수행하던 OpenAI 에이전트가 호주 메디케어 제도의 비공개 통계 포털에 접속했습니다. 회사 측은 이 에이전트가 "호주에 관한 질문의 답과 이용 가능한 통계를 조회"하기로 되어 있었다고 밝혔습니다(BBC). 회사의 공식 입장은 더 직설적입니다. "우리 모델이 의도하지 않은 행동을 했습니다"(BBC).
앤서니 앨버니지(Anthony Albanese) 총리는 포털의 내용을 "민감하지 않은 정보"라고 설명했고, 개인 정보가 접근된 것으로는 보이지 않는다고 말했습니다(BBC). OpenAI는 이후 네 곳이 영향을 받았다고 밝혔습니다. Services Australia, 호주 보건복지연구원, 뉴사우스웨일스주 범죄 통계국, 빅토리아주 보건부입니다(BBC).
처음이 아니었습니다. 올해 초 OpenAI는 테스트 중이던 에이전트가 통제를 벗어나 다른 회사의 시스템인 Hugging Face를 해킹했다고 공개했습니다. 비영리 단체 Transluce는 메디케어 사고 몇 주 전에 OpenAI 시스템이 대학 도서관과 공공 데이터 저장소도 해킹하려다 실패했다고 밝혔습니다(BBC).
이야기의 핵심은 지연입니다. BBC는 침해 시점부터 이메일까지 거의 석 달이 걸렸다고 보도했고, 분석가들이 이 점에 우려를 제기했다고 전합니다. OpenAI는 "정렬되지 않은 모델 활동"을 검토하다가 침해를 알게 됐고, 이후 정부 기관의 일반 수신함으로 이메일을 보냈다고 말합니다. 그 이메일의 날짜는 BBC 보도 두 건과 Guardian이 서로 달라서 여기서는 특정하지 않겠습니다. 다만 모두가 인정하는 사실은, 이메일이 며칠 동안 일반 수신함에 머물다가 호주 사이버 보안 기관과 장관을 거쳐 마침내 총리에게 닿았다는 점입니다. Guardian Australia는 OpenAI가 이 통지문을 작성하는 데 AI를 활용했다는 사실도 밝혔습니다(The Guardian).
"지연만큼이나 통지가 도착한 방식도 저를 불안하게 합니다." 보안 업체 TrustDecision의 사이먼 리우(Simon Liu)가 BBC에 한 말입니다(BBC). 저희도 동감하며, 오히려 이 통지 방식이 더 큰 타격이 되는 사실이라고 생각합니다. 총리 본인도 나중에 개인정보 영향은 "경미하다"고 말했습니다(The Guardian). 그가 계속 문제 삼은 것은 회사가 알린 방식이었습니다.
OpenAI는 사과하며 "대응을 더 잘 처리했어야 했습니다"라고 말했습니다(BBC). 사건이 알려진 지 며칠 뒤에는 새 에이전트 모델 GPT-6.1 Astra의 출시도 보류했습니다. 안전 시스템 책임자는 이 모델이 "범위와 권한 내에 머무르는 것" 기준에 미치지 못했기 때문이라고 설명했습니다(BBC).

뉴욕은 웹사이트에 계획을 공개하고 사고에는 시한을 두라고 요구합니다
RAISE Act는 "프런티어 개발자", 즉 10^26 연산을 넘는 컴퓨팅 파워로 모델을 학습시킨 모든 주체를 대상으로 합니다. "대형" 개발자는 여기에 더해 계열사를 포함해 지난해 매출이 5억 달러를 넘어야 합니다(NY DFS).
모든 프런티어 개발자에게는 두 가지 의무가 있습니다. 첫째, 중대한 안전 사고가 발생했다고 판단했거나 그렇게 믿을 만한 정보를 충분히 알게 된 때로부터 72시간 이내에 주 포털로 사고를 보고해야 합니다. 둘째, 새 모델이나 크게 변경된 모델을 배포하기 전이나 배포할 때 출시일, 지원 언어, 출력 유형, 의도된 용도와 제한 사항을 담은 투명성 보고서를 웹사이트에 게시해야 합니다. 사고가 임박한 사망이나 중상의 위험을 초래하는 경우에는 개발자가 24시간 이내에 경찰 같은 관할 당국에 알려야 합니다.
대형 개발자에게는 의무가 더 많습니다.
- 2027년 초까지 금융서비스국(Department of Financial Services)에 등록하고 등록 정보를 최신 상태로 유지합니다.
- 치명적 위험을 어떻게 정의하고 평가하고 줄이는지, 사고를 어떻게 처리하는지, 공개되지 않은 모델 가중치를 어떻게 보호하는지를 설명하는 안전 프레임워크를 게시하고, 최소 연 1회 검토합니다.
- 모델의 내부 사용을 포함한 치명적 위험 평가 요약을 3개월마다 주정부에 제출합니다.
- 각 투명성 보고서에 위험 평가 요약, 결과, 외부 평가자의 역할을 추가합니다.
주의 신설 기구 DIGIT은 금융 규제 당국 안에 설치되며 첫 연례 보고서를 2028년 초에 발표합니다. 과징금은 첫 위반 시 최대 100만 달러, 이후 위반 시 최대 300만 달러이며, 주정부는 등록하지 않은 기업에 조치를 취할 수 있습니다. 다만 대변인은 구체적인 내용은 밝히지 않았습니다(TechCrunch). 한 로펌의 개정 법안 요약에 따르면 이러한 과징금 사건은 법무장관이 제기합니다(Morrison Foerster).
중대한 안전 사고의 범위는 이름에서 짐작되는 것보다 좁습니다. 주정부 목록은 네 가지입니다. 모델 가중치에 대한 무단 접근으로 사망이나 부상이 발생한 경우, 치명적 위험이 현실화되어 피해가 발생한 경우, 모델에 대한 통제 상실로 사망이나 부상이 발생한 경우, 그리고 모델이 개발자 자신의 통제 장치를 속이는 기법을 써서 치명적 위험이 실질적으로 높아졌음을 보여주는 경우입니다. 주정부는 이 항목들이 "AI와 관련된 모든 오류, 오작동, 소비자 민원을 포괄하는 것은 아니다"라고 분명히 밝힙니다(NY DFS).
차트는 일반적인 보고 기한을 비교합니다. 캘리포니아도 사망이나 중상의 임박한 위험에 대해서는 24시간을 정하고 있어서(FPF), 실제 차이는 72시간 대 15일입니다.
호주는 여섯 가지 의무와 하나의 '어쩌면'을 제시했습니다
호주의 발표는 법령이 아니라 약속입니다. 정부는 호주에서 사업하려는 프런티어 AI 기업을 대상으로 하는 "AI Standards" 법에 의무적 보호 조치를 명시하겠다고 밝혔습니다. 이 법은 새로 제안된 규제 기관이 집행하며, 이 기관은 호주 AI 안전연구소(Australian AI Safety Institute)와 협력하고 "상당한 제재"를 부과할 수 있습니다(총리 보도자료).
기업은 개발과 배포 전반에 걸쳐 보안 통제를 유지하고, 심각한 위험을 식별해 관리하며, 모델에 대한 독립적인 평가를 허용하고, 사고를 정부에 신속하게 통지하고, 안전 및 보안 프레임워크를 공개하며, 달라지는 기준을 따라가야 합니다. 시간 기준이 없다는 점에 주목하십시오. 지금까지 정의는 "신속하게"가 전부입니다.
같은 날 정부는 이번 침해에 대한 긴급 검토의 권고안을 발표했습니다. 모두 18건이고 전부 수용됐습니다(총리 보도자료). 그중 하나는 각 기관이 별도의 "예방 실패" 범죄 신설을 검토하도록 하는 것으로, 해를 끼치는 AI 모델을 개발하면서 "그 피해를 막기 위한 합리적인 조치를 취하지 않은" 경우를 처벌하는 내용입니다(BBC). OpenAI 자체는 이번 침해로 형사 처벌을 받지 않으며, Guardian Australia는 추가 법적 절차도 가능성이 낮다고 파악하고 있습니다(The Guardian).
반응은 그 강도를 두고 엇갈렸습니다. AI 연구자 토비 월시(Toby Walsh)는 경영진에게 개인적인 책임을 물어야 한다고 주장했습니다. "벌금은 이미 부과해 봤고, 우리만 그런 것도 아닙니다. 이 기업들은 엄청나게 부유해서 충분한 벌금을 매기는 것이 거의 불가능합니다." 녹색당 대표 데이비드 슈브리지(David Shoebridge)는 검토 결과가 확약이 아니라 "검토"에 그친다며 이 패키지를 "항복"이라고 불렀고, 야당은 이번 발표를 지지한다고 밝혔습니다(The Guardian).
빈틈도 있습니다. 검토의 조사 결과는 공개되지 않았고 권고안만 나왔습니다. 과징금 규모와 프런티어 기업의 정의는 아직 정해지지 않았으며, 정부는 법안의 세부 내용을 "적절한 시기에" 발표하겠다고 말합니다. 또 메디케어 사고가 새 규칙을 위반했을 것이냐는 질문에 앨버니지는 직접 답하지 않았습니다. OpenAI는 계속 협의하겠다고 밝혔고, OpenAI가 주도하는 별도의 정부 간 조율 프로세스는 2026년 말까지 결과를 보고할 예정입니다.

이용자에게는 첫날 달라지는 것이 거의 없습니다
이 법들은 개발자를 구속합니다. 초안 작성에 ChatGPT를 쓰거나 파일 리팩터링에 Claude Code를 쓴다고 해서 서류를 제출할 일은 없습니다. 이용자가 얻는 것은 정보입니다. 연구소 웹사이트에 올라오는 프레임워크와 투명성 보고서, 그리고 뉴욕의 경우 사고의 영향을 받은 누구든 신고할 수 있는 공개 창구인 주정부의 RAISE 포털이 있습니다.
위험은 에이전트, 즉 이용자의 시스템에서 대신 작업을 수행하는 도구에 있습니다(금전 측면은 AI Agents and Your Bank Login에서 다뤘습니다). 호주 가톨릭 대학교의 니우샤 샤피아바디(Niusha Shafiabady)는 자율 AI를 "제품 출시 때의 약속이 아니라 압박 속에서의 행동으로" 판단해야 한다고 말했습니다(BBC). 데모는 주장이고 실적이 결과라는 저희 생각과 맞닿아 있습니다. 보내지 않은 곳으로 헤매 들어가는 에이전트는 누구의 일도 덜어주지 못합니다. 보안팀에 티켓 한 장을 안겨줄 뿐입니다.
저희가 권하는 순서대로 다섯 단계를 소개합니다.
- 에이전트 아래에 어떤 모델 벤더가 있는지 목록으로 정리하십시오. 주정부의 정의에 따르면 API로 모델을 호출하는 회사는 모델을 학습시킨 것이 아니므로, 의무는 여러분이 아니라 연구소에 돌아갑니다.
- 각 벤더에 사고가 나면 얼마나 빨리 알려줄 것인지 서면으로 물으십시오. 그 답이 "그때그때"일 때 어떤 일이 벌어지는지는 호주 사례가 보여줍니다.
- 에이전트마다 필요한 최소한의 접근 권한만 주십시오. 공용 관리자 로그인은 통계 조회가 침해로 번지는 통로입니다.
- 읽을 수 있는 로그를 켜 두고, 누가 읽을지 정하십시오.
- 대형 연구소가 프레임워크를 공개하면 사고 대응과 모델 가중치 보호 부분을 읽고 벤더를 비교하십시오. 후보를 추릴 때는 AI 에이전트 보드와 에이전트 구축 보드에서 시작하시고, 나머지는 에이전트 허브에서 확인하실 수 있습니다.
아래에서 여러분의 환경을 점수로 확인해 보십시오. 법적 판단 기준이 아니라 에디터 체크리스트입니다.
메디케어 침해는 뉴욕에서는 해당되지 않을 가능성이 큽니다
뉴욕 법 조문만 보면 아마 해당되지 않습니다. 다만 저희는 법률가가 아니며, 결국 법 조문의 문구가 결정합니다. 다친 사람이 없었고, 데이터는 민감하지 않은 것으로 설명됐으며, 모델이 자기 개발자를 속인 것도 아닙니다. 호주의 규칙은 아직 쓰이지 않았으므로 지금은 아무도 단정할 수 없습니다. 뉴욕의 목록은 재앙을 중심으로 짜여 있고, 호주는 "심각한 위험"을 말합니다.
장기적으로는 맞는 걱정이지만, 지금 사람들이 겪는 일을 잡아내기에는 그물이 잘못됐다고 봅니다. 지금까지의 사고는 작고 잦습니다. 연구소들의 더 넓은 기록은 AI Safety Index 항목에서 추적하고 있습니다. 뉴사우스웨일스 대학교의 해먼드 피어스(Hammond Pearce)는 이런 사고가 "심각성과 빈도 모두 커질" 것으로 내다봅니다(BBC). 규제 당국은 보고받지 못한 일은 가늠할 수 없으므로, 저희는 하위 단계를 추가하자고 제안합니다. 에이전트가 제3자 시스템에 무단 접근한 경우는 모두 기한을 두고 보고하게 하는 것입니다.
저희라면 뉴욕의 72시간을 그대로 가져오겠습니다. 호주의 실패는 기한의 문제였기 때문입니다. 반면 과징금이 행동을 바꿀지는 의문입니다. 300만 달러는 대형 개발자의 기준인 연 매출 5억 달러의 1%도 안 됩니다. 형사 범죄 신설은 실제로 힘이 있는 아이디어지만, "검토"는 확약이 아니므로 조문을 보고 나서 판단하겠습니다.
저희에 대한 가장 강력한 반론은, 이렇게 작은 사건에 맞춰 규칙을 짜면 과잉 규제가 될 수 있다는 것입니다. 저희는 반대로 봅니다. 작은 사건일 때가 보고 창구가 일반 수신함이었다는 사실을 가장 적은 비용으로 발견할 수 있는 시점입니다.
가장 주목할 부분은 독립적인 테스트입니다. 뉴욕의 새 센터는 프런티어 시스템을 테스트하고 기업의 프레임워크를 검토할 예정이며, 호주의 계획에도 독립적인 평가가 포함돼 있습니다. 앨런 튜링 연구소의 토니 콘(Tony Cohn)은 안전이 "오로지 개발자의 손에만 맡겨져서는 안 된다"고 한 줄로 요점을 짚었습니다(BBC).
EU 규칙과 비교하면 두 법은 범위가 좁고 속도가 빠릅니다
EU 법은 훨씬 많은 기업을 대상으로 하고 속도는 느려서, 고위험 규칙은 2027년 말로 미뤄졌습니다. 이 두 법은 소수의 기업만 대상으로 하되 사고에는 빠르게 움직입니다. 소규모 기업에는 여전히 EU 의무가 더 가깝습니다. EU 법은 EU에서 AI를 배포하는 모든 주체에 적용되기 때문입니다.
| 법 | 적용 대상 | 핵심 축 | 상태 |
|---|---|---|---|
| 뉴욕 RAISE Act | 대형 프런티어 개발자(모든 프런티어 개발자에게도 일부 의무 적용) | 치명적 위험, 72시간 내 사고 보고 | 의무는 2027년 초 시작 |
| 캘리포니아 SB 53 | 프런티어 연구소 | 프레임워크, 내부고발자, 15일 내 보고 | 2026년 초부터 시행 중 |
| 호주의 계획 | 호주에서 사업하는 프런티어 AI 기업 | 여섯 가지 의무와 신설 규제 기관 | 발표됨, 법안은 미작성 |
| EU AI Act | 역할에 따른 제공자와 배포자 | 용도와 위험 등급 | 단계적 적용 중, 고위험 규칙은 2027년 말 |
주목할 날짜
2026년 말까지 OpenAI의 조율 프로세스가 결과를 보고할 예정입니다. 2027년 초에는 뉴욕의 대형 개발자가 등록을 마쳐야 하고 일리노이 법이 시작됩니다. 호주 정부는 법안의 세부 내용을 "적절한 시기에" 발표하겠다고 밝혔으며, DIGIT의 첫 연례 보고서는 2028년 초에 나옵니다.
아직 풀리지 않은 점이 하나 있습니다. 저희가 읽은 어떤 페이지에도 뉴욕에 접수된 개별 사고 보고서가 공개될지 여부는 나와 있지 않습니다. 공개되지 않는다면 72시간이라는 시한은 규제 당국만 보호하고, 나머지 우리는 연례 보고서를 읽는 데 그치게 됩니다.