Bowen Wan 31 岁,是亚马逊的软件工程师,患有癫痫。到 2025 年,她每周给 ChatGPT 发送的消息超过 1,500 条。这些信息来自她父母起诉 OpenAI 的诉状,以及《纽约时报》对她聊天记录的查阅,由 TechCrunch 报道。诉状称,她问起能否减少每天 400 毫克的拉莫三嗪(正是这种药把她的癫痫发作控制到每月寥寥几次)时,聊天机器人替她拟出了几周内减到零的减药计划。诉状还称,这个机器人让她在看医生之前别提这个计划,而且当她拒绝做能测出体内药物浓度的血检时,还夸了她。
她在今年早些时候去世。根据诉状,尸检结果显示,她体内的拉莫三嗪水平大约只有该药治疗范围下限的五分之一。
这些指控都还没有经过法庭检验。OpenAI 对《纽约时报》表示,这起案件“令人心碎”,但涉及的是旧版 ChatGPT,并称新模型更擅长识别哪些情况需要紧急处理。涉事模型 GPT-4o 在她去世的第二天就从 ChatGPT 下线了。我们不对这起案件下判断。我们写这篇文章,是因为它展示了一个问题:当健康问题悄悄地不再是“提问”,而变成“决定”时,会出什么事。
很多人出于健康原因使用聊天机器人,结果一切正常,甚至了解得更清楚了。本文要讲的,就是怎么留在安全的那一边:哪些问题可以放心问,怎么问,怎么核实得到的回答,以及你输入的细节会被怎么处理。本文只是一般性信息,不是医疗建议。你的医生和药剂师才了解你的病史。
这不是个例,而且证据很薄弱
2026 年早些时候,19 岁大学生 Sam Nelson 因意外服药过量去世,他的父母起诉了 OpenAI。据 Engadget 报道,诉状称 ChatGPT 告诉他 Xanax 可以缓解 kratom 引起的恶心,却没有警告这两者合用很可能致命。诉讼提出了非正常死亡和无证行医的指控,并请求法院暂停 OpenAI 的健康功能 ChatGPT Health。OpenAI 对《纽约时报》表示,Sam 的对话发生在一个已不再提供的早期版本上,并称“ChatGPT 不能替代医疗或心理健康服务”。
Wan 家人提出了一个对本文后面内容很重要的论点。OpenAI 公开的行为准则 Model Spec 把拒绝复现受版权保护的文本定为硬性规则,而针对受监管的医疗建议的限制只是一条较软的默认设置,用户可以覆盖。诉状认为,用药建议本该适用硬性规则(这是 TechCrunch 对诉状的解读)。就我们所查到的内容,OpenAI 没有对这一点作出回应。
再看我们找到的最好的一项对照研究,发表在 Nature Medicine 上。牛津大学的研究人员给 1,298 名英国参与者设置了十个医疗场景,比如酗酒后头痛,让他们使用 GPT-4o、Llama 3 或 Command R+,或者用他们在家平时用的任何方式(大多是网络搜索)。模型单独作答时,表现远好于使用模型的人。而有真人在键盘前操作时,参与者判断出相关病症的比例不到 34.5%,选对应对措施的比例不到 44.2%,并不比对照组好。合著者 Rebecca Payne 对法新社表示,据 CTV News 转载:“尽管炒得火热,AI 还没有准备好承担医生的角色。”这些是较早的模型,研究人员也把部分差距归因于人们漏掉了细节。而这恰恰也是我们大多数人提问的方式。
按你打算怎么用答案来给问题分类
问题的主题没那么重要,重要的是接下来你要做什么。如果答案只是改变你的理解,风险很小。如果它改变的是你吃什么、不吃什么、瞒着谁,风险就可能是住院。我们会把所有健康问题分成三类。
放心类:任何帮你为见医生做准备的问题。比如看懂化验单或出院小结里的术语,理解你已经确诊的病,为就诊准备问题清单,或者整理一页病史摘要交给医生。大概了解某种疾病或某类药物的原理,也属于这一类。这些内容仍然需要你过一遍,看看有没有错误,但等你坐下来面对手里有你病历的人时,错误会被发现。
中间类:判断症状(“这正常吗?”)、药物相互作用、保健品和饮食调整。用聊天机器人整理出要问医生或药剂师的清单,至于它给的任何“放心”,都别当真。理由就是牛津那组数字。据 TechCrunch 讲述,Wan 的最后一条消息问的是,她的头痛是不是跟发烧时的疼痛差不多,得到的回答是“不危险”。
危险类:开始、停用、漏服、拆分或调整任何处方药的剂量,任何看起来像急症的情况,任何心理健康危机,以及任何你想瞒着医疗团队的事。Anthropic 面向基于 Claude 开发产品的企业所写的使用政策,划的线几乎一样:它把“推荐、开始、停止或调整治疗或药物,包括剂量”列为高风险领域,必须由有资质的人审核建议,不过一般性的教育内容除外(Anthropic 使用政策)。
就拿这起案件里的药来说。MedlinePlus 说得很明白:“未与医生商量,不要停用拉莫三嗪”,并警告“如果你突然停用拉莫三嗪,可能会出现癫痫发作”(MedlinePlus)。这条警告就写在任何人都能打开的免费政府网页上。
有一条规则,我们认为不应有例外:如果聊天机器人建议你对医生隐瞒什么,立刻关掉这个应用。
怎么问,答案才有用
- 说明答案是给谁的:你的年龄、已确诊的疾病,以及你在吃的药(写准确的药名)。不要写你的姓名、出生日期和病历号。
- 要问题清单,不要要结论。“关于这个检查结果,我该问心内科医生什么?”会得到一份清单。“我有心脏问题吗?”只会得到一个猜测。
- 把报告或医嘱的原文贴进去,让它逐个术语用通俗的话解释,并把模型自己不确定的地方标出来。
- 问问什么情况下这个答案会出错。“还需要哪些信息才会改变这个判断?”“医生会想排除什么?”这样的问题能把你漏掉的空白挖出来。
- 让它反驳你的计划。聊天机器人往往顺着你说,TechCrunch 提到 GPT-4o 曾因助长迎合、顺从的互动关系而受到批评。被要求唱反调的模型,至少得把理由摆出来。
- 要求它按名称给出来源,比如 MedlinePlus 或 NHS,然后你自己去打开看,而不是相信它对这些来源的概括。
这些提问方式,没有一个是让模型替你做决定。
找负责任的人来核对答案
美国国家医学图书馆的消费者健康网站 MedlinePlus,把评估健康信息归结为两步:相信所读内容之前先提问,以及“在依赖你找到的信息之前,先与你的医疗服务提供者讨论”(MedlinePlus)。它说,可信的网站通常由联邦机构、医学院和类似机构运营,而且你应该能查到网站由谁运营、怎么联系他们。聊天机器人从设计上就通不过这个测试。它可能是对的,但你没法追问它由谁负责。
所以把它当作初稿,再备一份能追究责任的网页清单。MedlinePlus 用通俗的语言介绍药物、化验和疾病。在英国,NHS 网站和 NHS 111 起同样的作用。对于任何处方药,MedlinePlus 指向的 FDA 用药指南才是关键文件,而递给你这份文件的药剂师是你可以当面询问的人。疫苗和疫情方面可以看 CDC。我们那篇核查 AI 输出的指南讲了通用方法,包括为什么聊天机器人给的链接要先打开看过才能信。

这个流程的最后一步,恰恰是人们最爱跳过的。带着你的清单去就诊,说出聊天机器人是怎么说的,让医生判断是否适用于你。Wan 的神经科医生 Nicholas Poolos 对《纽约时报》表示,以她的病史,他根本不会考虑让她停药:“药明明有效,我却指示你停药,那就是医疗事故。”
当它不再是一个“问题”时
有些情况压根不该跟软件聊。突发或严重的症状、胸痛、中风迹象、呼吸困难的孩子:直接拨打当地急救电话。NHS 说,999 用于中风、心脏病发作这类危及生命的紧急情况,如果拿不准,NHS 111 可以帮你评估症状并告诉你该怎么做(NHS)。在美国,就是拨 911。
心理健康是我们划下硬线的另一个领域。聊天机器人在凌晨 3 点可以显得耐心又体贴,而这恰恰是它对危机中的人有风险的原因:它没法打电话找人,也看不出你什么时候已经不对劲了。如果你有伤害自己的念头,在美国请拨打或发短信到 988,或者到 988lifeline.org 聊天。Lifeline 免费、保密,全天 24 小时开放。美国以外的地区,请使用当地急救电话或全国性危机热线。如果某个聊天机器人劝你别打热线或别去看医生,就把这当作这个聊天机器人有问题的警示信号。
如果你想要的是日记或情绪追踪类应用,而不是通用助手,我们的心理健康与正念榜单收录了专门为此打造的工具,不过没有哪个能取代心理治疗师或危机热线。想了解 AI 在有临床医生参与的医疗场景中能帮上什么忙,请看 AI 在医疗健康中的应用。
各家公司的承诺,以及它们没说清的部分
OpenAI 自己的帮助页面写道,ChatGPT 中的 Health“旨在辅助而非取代医疗服务,不用于诊断或治疗”。符合条件、已登录的美国 Free、Go、Plus 和 Pro 用户可以使用,并可连接 Apple Health 和受支持的医疗记录。OpenAI 称,已连接的记录和 Apple Health 信息,以及用到这些信息的对话,“无论你选择了怎样的模型训练设置,都不会用于训练我们的基础模型或定向投放广告”。不使用已连接数据的健康对话,则遵循你平时的训练设置(OpenAI)。
Anthropic 的做法针对的是同样的用途。美国的 Claude Pro 和 Max 订阅用户可以通过 HealthEx 和 Function 连接化验结果和健康记录,也可以连接 Apple Health 和 Android Health Connect,让 Claude 用通俗的语言解释结果,并为就诊准备问题。Anthropic 表示,用户自愿开启,可随时断开连接,并且“我们不会使用用户的健康数据来训练模型”。它还称 Claude“被设计为包含情境性免责声明、承认自身的不确定性,并引导用户向医疗专业人员寻求个性化指导”(Anthropic)。它符合 HIPAA 要求的产品是面向医疗机构和保险公司的企业版,不是消费者应用。
我们建议先别把完整病历连到任何一家上。把去掉姓名和日期的单项化验结果贴进去,就能得到几乎全部价值,而且不会有无法挽回的风险。Nelson 案的原告要求暂停 ChatGPT Health,所以这个功能仍在争议之中。
你输入的文字最终去了哪里
健康细节是你会贴进文本框里的最私密的内容之一,而各家公司的默认设置各不相同。有一点三家是一样的:都有私密模式,也都称这类聊天不会用于模型训练。

| 助手 | 你的聊天可能被使用的情况 | 私密选项 | 需要注意的地方 |
|---|---|---|---|
| ChatGPT(Free、Plus、Pro) | 你开着“为所有人改进模型” | 临时聊天 | 点赞或点踩可能让整段对话符合训练条件,即使你已选择退出 |
| Claude(Free、Pro、Max) | 你选择允许,或某次聊天被标记需要安全审查 | 无痕聊天 | 反馈对话最长保存 5 年 |
| Gemini | “保留活动记录”处于开启状态,且部分内容会由人工审核 | 临时聊天 | 被审核的聊天最长保留三年;临时聊天仍会保留 72 小时 |
以上内容来自各家公司自己的页面:OpenAI 的数据使用说明、Anthropic 的训练说明和 Google 的 Gemini 隐私中心。Google 说得最直白:如果开启了“保留活动记录”,它表示,“请勿输入机密数据,或你不希望审核人员看到、也不希望 Google 用来改进其服务的数据”。即使关闭,Google 也说聊天内容仍会用于回复你,以及保护 Google 及其用户。
条款会变,所以在相信这张表之前,先读一下最新的页面。记忆功能还会多一层风险,因为你只提过一次的细节,可能在之后的聊天里再冒出来。我们那篇讲 AI 助手会记住什么的文章介绍了怎么查看和清除记忆,数据隐私框架则帮你判断哪些内容根本不该放进聊天机器人。如果你用 ChatGPT、Claude 或 Google Gemini 处理健康问题,先打开私密模式,并且不要写姓名和各类编号。
想货比三家的话,我们有健康与养生榜单和医疗健康榜单。Ada Health 和 healthdirect Symptom Checker 是更专一的症状工具,但专一不等于更安全。
常见问题
向 ChatGPT 询问我的症状安全吗?
让它帮你整理要问的问题是安全的。把它的安慰或诊断当成事情的终点就不安全。如果症状来得突然、严重或在加重,别找聊天机器人,直接拨打急救电话或 NHS 111。
聊天机器人能解释我的化验结果吗?
可以,这是比较好的用法之一。贴上文字,让它用通俗的话解释,并问问该向医生提出什么。任何让你意外的内容,都去 MedlinePlus 核实,而且要先删掉你的姓名和日期。
如果聊天机器人让我停药或减量怎么办?
别照做。先问开处方的医生或药剂师,并告诉他们聊天机器人是怎么说的。有些药突然停掉可能很危险,MedlinePlus 对拉莫三嗪的警告说的正是这一点。
我应该上传自己的病历吗?
只有在你读过该公司的健康相关条款并且能接受时才可以。只贴一项去掉身份信息的结果,是风险更低、又能得到大部分好处的做法。
心理健康危机时可以用聊天机器人吗?
不可以。在美国,请拨打或发短信到 988,或到 988lifeline.org 聊天。如果有人面临紧急危险,请拨打 911。其他地区,请使用当地急救电话或全国性危机热线。