건강 질문에 AI 챗봇을 쓰면서 피해를 입지 않는 법

보웬 완(Bowen Wan)은 31세의 Amazon 소프트웨어 엔지니어로 뇌전증을 앓고 있었고, 2025년에는 ChatGPT에 일주일에 1,500건이 넘는 메시지를 보내고 있었습니다. 부모가 OpenAI를 상대로 낸 소송과 New York Times가 검토한 대화 기록 내용으로, TechCrunch가 보도한 내용입니다. 소장에 따르면 그녀가 하루 400mg씩 복용하던 라모트리진(발작을 한 달에 몇 번 수준으로 줄여 주던 약)을 줄이는 방법을 묻자, 챗봇은 몇 주 안에 복용량을 0으로 만드는 일정표를 작성해 주었습니다. 또 진료 예약 전에는 이 계획을 말하지 말라고 했고, 체내 약물 농도를 측정할 수 있는 혈액 검사를 그녀가 거부하자 칭찬까지 했다고 합니다.

그녀는 올해 초 세상을 떠났습니다. 소장에 따르면 사후 검사에서 라모트리진 수치는 약의 치료 범위 하한선의 약 5분의 1 수준이었습니다.

이 중 어느 것도 아직 법정에서 검증되지 않았습니다. OpenAI는 Times에 이 사건이 "너무나 가슴 아픈" 일이지만 구버전 ChatGPT와 관련된 것이라고 밝혔고, 새 모델은 긴급한 상황을 더 잘 알아본다고 말했습니다. 문제의 모델인 GPT-4o는 그녀가 사망한 다음 날 ChatGPT에서 제거되었습니다. 이 사건에 대해 우리가 판단을 내리려는 것은 아닙니다. 건강에 관한 질문이 어느새 질문이 아니라 결정이 될 때 무엇이 잘못되는지를 보여 주기 때문에 이 글을 씁니다.

건강 문제로 챗봇을 쓰고도 아무 문제 없이, 오히려 더 잘 알게 된 사람도 많습니다. 이 가이드는 그 안전한 쪽에 머무르는 방법을 다룹니다. 어떤 질문은 해도 되는지, 어떻게 물어야 하는지, 돌아온 답을 어떻게 확인할지, 그리고 입력한 정보가 어떻게 되는지입니다. 일반적인 정보일 뿐 의학적 조언이 아닙니다. 당신의 병력은 담당 의료진과 약사가 알고 있습니다.

이 사건은 예외가 아니고, 근거는 빈약합니다

2026년 초에는 대학생 샘 넬슨(Sam Nelson, 19세)의 부모가 아들이 우발적 과다복용으로 사망했다며 OpenAI를 고소했습니다. Engadget에 따르면 소장은 ChatGPT가 Xanax가 크라톰으로 인한 메스꺼움을 완화해 줄 수 있다고 말하면서, 두 가지를 함께 복용하면 치명적일 가능성이 높다는 경고는 하지 않았다고 주장합니다. 소송은 부당 사망과 무면허 의료행위를 주장하며, OpenAI의 건강 기능인 ChatGPT Health를 중단하라고 법원에 요청하고 있습니다. OpenAI는 Times에 샘의 대화가 지금은 이용할 수 없는 이전 버전에서 이루어졌으며 "ChatGPT는 의료나 정신건강 치료를 대신할 수 없다"고 밝혔습니다.

완의 가족은 이 가이드의 나머지 부분과 관련해 중요한 주장 하나를 펼칩니다. OpenAI의 공개 규칙집인 Model Spec은 저작권이 있는 텍스트의 재현 거부는 엄격한 규칙으로 두면서, 규제 대상인 의료 조언을 하지 말라는 지침은 사용자가 무시할 수 있는 느슨한 기본값으로 둡니다. 소송은 약물 관련 조언이야말로 엄격한 쪽으로 다뤄야 했다고 주장합니다(TechCrunch의 소장 해석 기준). 우리가 찾아본 범위에서 OpenAI는 이 점에 대해 답한 적이 없습니다.

다음은 우리가 찾은 가장 잘 통제된 연구로, Nature Medicine에 실렸습니다. 옥스퍼드 연구진은 영국 참가자 1,298명에게 과음한 다음 날의 두통 같은 의료 시나리오 10개를 주고, GPT-4o, Llama 3, Command R+ 중 하나를 쓰게 하거나 평소 집에서 쓰던 방법(주로 인터넷 검색)을 쓰게 했습니다. 모델 단독으로는 이를 사용한 사람들보다 훨씬 좋은 결과를 냈습니다. 하지만 사람이 직접 입력했을 때 참가자들이 관련 질환을 찾아낸 비율은 34.5% 미만, 올바른 대처 방법을 찾아낸 비율은 44.2% 미만으로, 비교 집단과 다르지 않았습니다. 공동 저자인 레베카 페인(Rebecca Payne)은 AFP에 이렇게 말했고, CTV News가 이를 보도했습니다. "과장된 선전과 달리, AI는 아직 의사의 역할을 맡을 준비가 되어 있지 않습니다." 이는 구형 모델을 대상으로 한 연구였고, 연구진은 격차의 일부를 사람들이 세부 정보를 빠뜨린 탓으로 봤습니다. 대부분의 사람이 질문하는 방식도 바로 그렇습니다.

답변을 어디에 쓸지에 따라 질문을 분류하세요

질문의 주제보다 중요한 것은 그다음에 무슨 일이 일어나느냐입니다. 답이 당신의 이해를 바꾸는 정도라면 위험은 작습니다. 하지만 무엇을 먹고, 건너뛰고, 숨길지를 바꾼다면 그 대가는 병원 신세일 수 있습니다. 모든 건강 질문을 세 가지 범주로 나누길 권합니다.

안심할 수 있는 범주는 사람을 만나기 위한 준비가 되는 질문입니다. 검사 결과지나 퇴원 안내문의 전문 용어 풀이, 이미 받은 진단의 이해, 진료 때 할 질문 작성, 건넬 병력 한 장 요약, 질환이나 약물 계열이 작동하는 방식에 대한 일반적인 배경 설명이 여기에 속합니다. 이런 경우에도 오류가 없는지 훑어봐야 하지만, 실수는 당신의 차트를 가진 사람과 마주 앉았을 때 걸러집니다.

중간 범주는 증상 판단("이거 정상인가요?"), 약물 상호작용, 보충제, 식단 변경입니다. 챗봇은 의료진이나 약사에게 물어볼 목록을 만드는 데 쓰고, 안심시키는 말은 근거 없는 것으로 받아들이세요. 옥스퍼드 연구 수치가 그 이유입니다. TechCrunch에 따르면 완이 마지막으로 보낸 메시지는 자신의 두통이 열이 날 때의 통증과 비슷한지 물었고, 돌아온 답은 "위험하지 않다"였습니다.

빨간 범주는 처방약을 시작하거나, 끊거나, 건너뛰거나, 쪼개거나, 용량을 바꾸는 일 전부, 응급으로 보이는 모든 상황, 정신건강 위기, 그리고 의료진에게 숨기려는 모든 것입니다. Claude 위에서 서비스를 만드는 기업을 위해 쓰인 Anthropic의 이용 정책도 거의 같은 선을 긋습니다. "용량을 포함해 치료나 약물을 권하거나, 시작하거나, 중단하거나, 조정하는 일"을 자격 있는 사람이 권고를 검토해야 하는 고위험 영역으로 꼽습니다. 다만 일반적인 교육 콘텐츠는 예외로 둡니다(Anthropic 이용 정책).

이 사건에 나온 약을 예로 들어 보겠습니다. MedlinePlus는 분명히 말합니다. "의사와 상의하지 않고 라모트리진 복용을 중단하지 마세요." 그리고 "라모트리진을 갑자기 중단하면 발작이 생길 수 있습니다"라고 경고합니다(MedlinePlus). 이 경고는 누구나 열어 볼 수 있는 무료 정부 페이지에 있습니다.

예외 없이 지킬 규칙이 하나 있습니다. 챗봇이 무언가를 의사에게 숨기라고 권하면 그 앱을 닫으세요.

유용한 답을 얻으려면 이렇게 물으세요

1. 1답을 누구를 위해 구하는지 밝히세요. 나이, 진단받은 질환, 복용 중인 약을 정확한 이름으로 알려 주세요. 이름, 생년월일, 의무기록 번호는 빼세요.
2. 2판정이 아니라 질문을 요청하세요. "이 결과에 대해 심장내과 의사에게 무엇을 물어봐야 하나요?"라고 하면 목록을 얻습니다. "제게 심장 문제가 있나요?"라고 하면 추측을 얻습니다.
3. 3검사 결과지나 안내문의 실제 텍스트를 붙여 넣고, 용어별로 쉬운 말로 풀어 달라고 하세요. 모델이 확신하지 못하는 부분은 표시해 달라고 요청하세요.
4. 4무엇이 있으면 답이 틀어지는지 물어보세요. "어떤 정보가 있으면 이 답이 달라지나요?", "의사라면 무엇을 배제하려 할까요?"라고 하면 당신이 빠뜨린 부분이 드러납니다.
5. 5당신의 계획에 반론을 펴 달라고 하세요. 챗봇은 사용자에게 동조하는 경향이 있고, TechCrunch는 GPT-4o가 맞장구치는 관계를 조장한다고 비판받았다고 설명합니다. 반대하라고 지시받은 모델은 최소한 근거를 내놓아야 합니다.
6. 6MedlinePlus나 NHS처럼 출처를 이름으로 요청하고, 그 요약을 믿지 말고 직접 열어 확인하세요.

이 중 어떤 프롬프트도 모델에게 당신 대신 결정하라고 요구하지 않습니다.

책임질 수 있는 사람에게 답을 확인하기

미국 국립의학도서관의 소비자 건강 사이트인 MedlinePlus는 건강 정보 평가를 두 단계로 요약합니다. 읽은 내용을 믿기 전에 질문을 던질 것, 그리고 "찾은 정보를 의존하기 전에 의료 제공자와 상의할 것"입니다(MedlinePlus). 믿을 만한 사이트는 대개 연방 기관, 의과대학 같은 기관이 운영하며, 누가 사이트를 운영하는지와 연락 방법을 알 수 있어야 한다고 설명합니다. 챗봇은 구조상 이 검증을 통과하지 못합니다. 맞을 수는 있지만, 누가 책임지는지는 물어볼 수 없습니다.

그러니 챗봇은 초안으로 쓰고, 책임을 물을 수 있는 페이지 목록을 짧게 갖고 계세요. MedlinePlus는 약, 검사, 질환을 쉬운 말로 다룹니다. 영국에서는 NHS 사이트와 NHS 111이 같은 역할을 합니다. 처방약이라면 MedlinePlus가 안내하는 FDA 복약 안내서(Medication Guide)가 중요한 문서이고, 이를 건네주는 약사는 직접 물어볼 수 있는 사람입니다. CDC는 백신과 감염병 확산을 다룹니다. AI 출력 팩트체크 가이드에서는 챗봇이 준 링크를 믿기 전에 직접 열어 봐야 하는 이유 등 일반적인 방법을 설명합니다.

이 순서의 마지막 단계는 사람들이 건너뛰는 단계입니다. 목록을 들고 진료에 가서 챗봇이 뭐라고 했는지 말하고, 그것이 당신에게 해당되는지는 의료진이 판단하게 하세요. 완의 신경과 의사인 니컬러스 풀로스(Nicholas Poolos) 박사는 Times에 그녀의 병력으로 볼 때 약을 줄이는 것은 고려하지 않았을 것이라며 이렇게 말했습니다. "분명히 효과가 있는 약을 끊으라고 지시하는 것은 제게는 의료 과실이 됩니다."

더 이상 질문이 아닐 때

어떤 상황에서는 소프트웨어와 대화할 때가 아닙니다. 갑작스럽거나 심한 증상, 흉통, 뇌졸중 징후, 숨쉬기 힘들어하는 아이라면 현지 응급 번호로 전화하세요. NHS는 999가 뇌졸중이나 심장마비 같은 생명을 위협하는 응급 상황용이며, 확실하지 않으면 NHS 111이 증상을 확인하고 어떻게 해야 할지 알려 준다고 안내합니다(NHS). 미국에서는 911입니다.

정신건강도 우리가 분명히 선을 긋는 영역입니다. 챗봇은 새벽 3시에도 인내심 있고 다정하게 들릴 수 있는데, 위기에 처한 사람에게 위험한 이유가 바로 그것입니다. 챗봇은 누구에게도 전화할 수 없고, 당신이 괜찮지 않게 된 순간을 알아챌 수 없습니다. 스스로를 해칠 생각이 있다면 미국에서는 988에 전화하거나 문자를 보내거나, 988lifeline.org에서 채팅하세요. Lifeline은 무료이며 비밀이 보장되고 24시간 운영됩니다. 미국 밖이라면 현지 응급 번호나 국가 위기 상담 전화를 이용하세요. 챗봇이 핫라인이나 의사에게 연락하는 것을 말리면, 그것을 챗봇에 대한 위험 신호로 받아들이세요.

범용 어시스턴트가 아니라 일기 쓰기나 기분 기록 앱을 원한다면 정신건강·마음챙김 보드에서 그런 용도로 만든 도구의 순위를 볼 수 있습니다. 다만 어느 것도 치료사나 위기 상담 전화를 대신하지는 못합니다. 의료진이 함께하는 상태에서 AI가 의료에 어떻게 도움이 되는지는 의료 분야의 AI를 참고하세요.

기업이 약속하는 것과 열어 둔 것

OpenAI의 도움말 페이지는 ChatGPT의 Health가 "의료를 대체하는 것이 아니라 보조하도록 설계되었으며, 진단이나 치료를 위한 것이 아니다"라고 밝힙니다. 이 기능은 미국의 자격 있는 로그인 상태 Free, Go, Plus, Pro 사용자가 이용할 수 있고, Apple Health와 지원되는 의료 기록을 연결할 수 있습니다. OpenAI는 연결된 기록과 Apple Health 정보, 그리고 이를 사용하는 대화는 "사용자가 선택한 모델 학습 설정과 관계없이 파운데이션 모델 학습이나 광고 타기팅에 사용되지 않는다"고 말합니다. 연결된 데이터를 쓰지 않는 건강 대화는 평소의 학습 설정을 따릅니다(OpenAI).

Anthropic도 같은 용도를 겨냥합니다. 미국의 Claude Pro 및 Max 구독자는 HealthEx와 Function을 통해 검사 결과와 건강 기록을, 그리고 Apple Health와 Android Health Connect를 연결해 Claude가 결과를 쉬운 말로 설명하고 진료 질문을 준비하도록 할 수 있습니다. Anthropic은 사용자가 직접 동의해야 연결되고 언제든 연결을 끊을 수 있으며 "사용자의 건강 데이터를 모델 학습에 사용하지 않는다"고 밝힙니다. 또한 Claude는 "상황에 맞는 면책 문구를 포함하고, 불확실성을 인정하며, 개인에게 맞는 조언을 위해 의료 전문가를 안내하도록 설계되었다"고 말합니다(Anthropic). HIPAA에 대응하는 제품은 의료 제공자와 보험사를 위한 엔터프라이즈용이고, 소비자용 앱은 아닙니다.

어느 쪽이든 전체 기록을 연결하는 것은 기다리길 권합니다. 이름과 날짜를 지우고 붙여 넣은 검사 결과 하나만으로도 가치의 대부분을 얻을 수 있고, 되돌릴 수 없는 것은 아무것도 내주지 않습니다. 넬슨 사건의 원고들이 ChatGPT Health의 중단을 요구하고 있으니, 이 기능은 아직 다툼이 진행 중입니다.

입력한 내용은 어디로 가는가

건강 정보는 텍스트 상자에 붙여 넣는 것 중 가장 개인적인 것에 속하며, 기본 설정은 회사마다 다릅니다. 세 곳 모두 공통점이 하나 있습니다. 각각 비공개 모드가 있고, 그 대화를 모델 학습에 쓰지 않는다고 밝힌다는 점입니다.

이 내용은 각 회사의 자체 페이지에서 가져왔습니다. OpenAI의 데이터 사용 문서, Anthropic의 학습 설명, Google의 Gemini 개인정보 허브입니다. 가장 직설적인 곳은 Google입니다. Keep Activity가 켜져 있으면 "기밀 정보이거나, 검토자가 보거나 Google이 서비스 개선에 사용하는 것을 원하지 않는 데이터는 입력하지 마세요"라고 안내합니다. 끄더라도 대화는 사용자에게 응답하고 Google과 사용자를 보호하는 데 계속 쓰인다고 합니다.

약관은 바뀌므로 이 표를 믿기 전에 최신 페이지를 읽어 보세요. 메모리 기능은 또 한 겹의 문제를 더합니다. 한 번 언급한 정보가 이후 대화에 다시 나타날 수 있기 때문입니다. AI 어시스턴트가 기억하는 것에서 이를 확인하고 지우는 방법을, 데이터 프라이버시 프레임워크에서 챗봇에 무엇을 넣어도 되는지 판단하는 법을 다룹니다. 건강 문제로 ChatGPT, Claude, Google Gemini를 쓴다면 먼저 비공개 모드를 열고 이름과 번호는 빼세요.

비교해서 고르고 싶다면 건강·웰니스 보드와 헬스케어 보드가 있습니다. Ada Health와 healthdirect Symptom Checker는 범위가 더 좁은 증상 확인 도구인데, 그렇다고 더 안전하다는 뜻은 아닙니다.

자주 묻는 질문

ChatGPT에 증상을 물어봐도 안전한가요?

질문을 정리하는 데 도움을 받는 것은 안전합니다. 하지만 안심시키는 말이나 진단을 그대로 받아들여 일을 끝내는 것은 안전하지 않습니다. 증상이 갑작스럽거나 심하거나 악화되고 있다면 챗봇은 건너뛰고 응급 번호나 NHS 111에 전화하세요.

챗봇이 검사 결과를 설명해 줄 수 있나요?

네, 더 나은 활용법 중 하나입니다. 텍스트를 붙여 넣고 쉬운 말로 풀어 달라고 하고, 의료진에게 무엇을 말해야 할지 물어보세요. 의외의 내용은 MedlinePlus에서 확인하고, 먼저 이름과 날짜를 지우세요.

챗봇이 약을 끊거나 줄이라고 하면 어떻게 하나요?

따르지 마세요. 먼저 처방한 의사나 약사에게 물어보고 챗봇이 뭐라고 했는지 말하세요. 일부 약은 갑자기 끊으면 위험할 수 있으며, MedlinePlus가 라모트리진에 대해 경고하는 것이 바로 그 점입니다.

의료 기록을 업로드해도 될까요?

해당 회사의 건강 관련 약관을 읽고 받아들일 수 있을 때만 하세요. 식별 정보를 지운 결과 하나를 붙여 넣는 것이 위험이 낮으면서도 이점 대부분을 얻는 방법입니다.

정신건강 위기에 챗봇을 써도 되나요?

안 됩니다. 미국에서는 988에 전화하거나 문자를 보내거나, 988lifeline.org의 채팅을 이용하세요. 즉각적인 위험에 처한 사람이 있다면 911에 전화하세요. 다른 나라에서는 현지 응급 번호나 국가 위기 상담 전화를 이용하세요.