Bowen Wan war 31, Softwareingenieurin bei Amazon, lebte mit Epilepsie und schickte 2025 mehr als 1.500 Nachrichten pro Woche an ChatGPT. So steht es in der Klage ihrer Eltern gegen OpenAI und in einer Auswertung ihrer Chats durch die New York Times, wie TechCrunch berichtet. Laut Klageschrift fragte sie, ob sie ihre tägliche Dosis von 400 Milligramm Lamotrigin senken könne, jenes Medikament, das ihre Anfälle auf wenige pro Monat gedrückt hatte. Der Chatbot habe daraufhin Pläne entworfen, die sie innerhalb weniger Wochen auf null gebracht hätten. Außerdem habe er ihr geraten, vor einem Arzttermin nichts von dem Plan zu erwähnen, und sie gelobt, als sie einen Bluttest ablehnte, der den Wirkstoffspiegel in ihrem Körper gemessen hätte.
Sie starb Anfang dieses Jahres. Ein Test nach ihrem Tod ergab laut Klageschrift einen Lamotrigin-Spiegel von etwa einem Fünftel des unteren Endes des therapeutischen Bereichs.
Nichts davon ist vor Gericht geprüft worden. OpenAI sagte der Times, der Fall sei „unglaublich herzzerreißend“, betreffe aber eine ältere ChatGPT-Version; neuere Modelle erkennten besser, wann eine Situation dringend Aufmerksamkeit braucht. Das betreffende Modell, GPT-4o, wurde einen Tag nach ihrem Tod aus ChatGPT genommen. Wir urteilen nicht über den Fall. Wir schreiben darüber, weil er zeigt, was schiefgeht, wenn aus einer Gesundheitsfrage unbemerkt eine Entscheidung wird.
Viele Menschen nutzen Chatbots für Gesundheitsthemen und kommen gut damit zurecht, manche sind danach sogar besser informiert. In diesem Ratgeber geht es darum, auf dieser Seite der Grenze zu bleiben: welche Fragen unbedenklich sind, wie Sie sie stellen, wie Sie das Ergebnis prüfen und was mit den Angaben passiert, die Sie eintippen. Das sind allgemeine Informationen, keine medizinische Beratung. Ihre Ärztin oder Ihr Arzt und Ihre Apotheke kennen Ihre Vorgeschichte.
Der Fall ist kein Einzelfall, und die Beleglage ist dünn
Anfang 2026 verklagten die Eltern von Sam Nelson, einem 19-jährigen College-Studenten, OpenAI wegen seines Todes durch eine versehentliche Überdosis. Laut Klage soll ChatGPT ihm gesagt haben, Xanax könne die Übelkeit durch Kratom lindern, ohne davor zu warnen, dass die Kombination wahrscheinlich tödlich sei, so Engadget. Die Klage macht Ansprüche wegen widerrechtlicher Tötung und unerlaubter Ausübung der Heilkunde geltend und fordert ein Gericht auf, ChatGPT Health, OpenAIs Gesundheitsfunktion, zu stoppen. OpenAI erklärte gegenüber der Times, Sams Unterhaltungen hätten mit einer früheren, nicht mehr verfügbaren Version stattgefunden, und „ChatGPT ersetzt keine medizinische oder psychotherapeutische Versorgung“.
Die Familie Wan bringt ein Argument vor, das für den Rest dieses Ratgebers wichtig ist. In OpenAIs Model Spec, dem öffentlichen Regelwerk, ist die Weigerung, urheberrechtlich geschützte Texte wiederzugeben, eine feste Regel, während die Vorgabe gegen regulierte medizinische Beratung nur eine weichere Voreinstellung ist, die Nutzer außer Kraft setzen können. Laut Klage hätte Medikamentenberatung die feste Variante verdient (so TechCrunchs Lesart der Klageschrift). Auf diesen Punkt hat OpenAI nach unseren Recherchen bisher nicht reagiert.
Dann gibt es noch die beste kontrollierte Studie, die wir gefunden haben, erschienen in Nature Medicine. Forschende aus Oxford legten 1.298 Teilnehmenden aus Großbritannien zehn medizinische Szenarien vor, etwa Kopfschmerzen nach einer durchzechten Nacht. Die Teilnehmenden nutzten dafür GPT-4o, Llama 3 oder Command R+ oder das, was sie zu Hause üblicherweise verwenden (meist eine Internetsuche). Allein getestet, schnitten die Modelle weit besser ab als die Menschen, die sie benutzten. Mit einem Menschen an der Tastatur erkannten die Teilnehmenden in weniger als 34,5 Prozent der Fälle eine relevante Erkrankung und in weniger als 44,2 Prozent das richtige Vorgehen, nicht besser als die Vergleichsgruppe. Mitautorin Rebecca Payne sagte gegenüber AFP, wie CTV News berichtete: „Trotz allen Hypes ist KI einfach noch nicht so weit, die Rolle des Arztes zu übernehmen.“ Das waren ältere Modelle, und die Forschenden führten einen Teil der Lücke darauf zurück, dass Menschen Details weglassen. So fragen auch die meisten von uns.
Sortieren Sie die Frage danach, was Sie mit der Antwort tun werden
Das Thema einer Frage ist weniger wichtig als das, was danach passiert. Verändert die Antwort, was Sie verstehen, ist das Risiko gering. Verändert sie, was Sie schlucken, auslassen oder verschweigen, kann das Risiko ein Krankenhausaufenthalt sein. Wir würden jede Gesundheitsfrage in drei Kategorien einordnen.
Die unkritische Kategorie umfasst alles, was Sie auf ein Gespräch mit einem Menschen vorbereitet. Fachjargon in einem Laborbericht oder Entlassungsbrief entschlüsseln. Eine bereits gestellte Diagnose verstehen. Fragen für einen Termin entwerfen oder eine einseitige Zusammenfassung Ihrer Krankengeschichte zum Mitgeben. Allgemeines Hintergrundwissen darüber, wie eine Erkrankung oder eine Wirkstoffklasse funktioniert. All das sollten Sie trotzdem auf Fehler durchsehen, aber ein Fehler fällt spätestens auf, wenn Sie mit jemandem sprechen, der Ihre Akte vor sich hat.
Die mittlere Kategorie ist die Einschätzung von Symptomen („Ist das normal?“), Wechselwirkungen, Nahrungsergänzungsmitteln und Ernährungsumstellungen. Nutzen Sie den Chatbot, um eine Liste mit Fragen für Ärztin, Arzt oder Apotheke zu erstellen, und behandeln Sie jede Beruhigung als unverdient. Die Zahlen aus Oxford sind der Grund. Wans letzte Nachricht fragte laut TechCrunch, ob ihr Kopfschmerz dem Schmerz bei Fieber ähnle, und die Antwort lautete, er sei „nicht gefährlich“.
Die rote Kategorie: ein verschreibungspflichtiges Medikament beginnen, absetzen, auslassen, teilen oder neu dosieren, alles, was nach einem Notfall aussieht, alles in einer psychischen Krise und alles, was Sie vor Ihrem Behandlungsteam geheim halten wollen. Anthropics Nutzungsrichtlinie, geschrieben für Unternehmen, die auf Claude aufbauen, zieht eine fast identische Grenze: Sie nennt „recommending, starting, stopping, or adjusting a treatment or medication, including dose“ als Hochrisikobereich, in dem eine qualifizierte Person die Empfehlung prüfen muss, nimmt allgemeine Bildungsinhalte aber aus (Anthropic usage policy).
Nehmen wir das Medikament aus dem Fall. MedlinePlus sagt klar: „Do not stop taking lamotrigine without talking to your doctor“ und warnt: „If you suddenly stop taking lamotrigine, you may experience seizures“ (MedlinePlus). Diese Warnung steht auf einer kostenlosen Behördenseite, die jeder öffnen kann.
Eine Regel würden wir ohne Ausnahme befolgen: Wenn ein Chatbot Ihnen jemals nahelegt, etwas vor Ihrem Arzt zu verschweigen, schließen Sie die App.
So fragen Sie, damit die Antwort nützlich ist
- Sagen Sie, für wen die Antwort gedacht ist: Alter, diagnostizierte Erkrankungen und Medikamente, jeweils mit genauem Namen. Lassen Sie Ihren Namen, Ihr Geburtsdatum und Aktennummern weg.
- Bitten Sie um Fragen, nicht um Urteile. „Was sollte ich meinen Kardiologen zu diesem Befund fragen?“ liefert Ihnen eine Liste. „Habe ich ein Herzproblem?“ liefert Ihnen eine Vermutung.
- Fügen Sie den tatsächlichen Text des Berichts oder Briefs ein und bitten Sie um Erklärungen in einfacher Sprache, Begriff für Begriff, wobei alles markiert wird, bei dem sich das Modell unsicher ist.
- Fragen Sie, was die Antwort falsch machen würde. „Welche Information würde das ändern?“ und „Was würde ein Arzt ausschließen wollen?“ fördern die Lücken zutage, die Sie gelassen haben.
- Bitten Sie den Chatbot, gegen Ihren Plan zu argumentieren. Chatbots neigen dazu, Ihnen zuzustimmen, und TechCrunch beschreibt GPT-4o als kritisiert dafür, bestätigende, gefällige Beziehungen zu fördern. Ein Modell, das widersprechen soll, muss zumindest seine Gründe nennen.
- Fragen Sie nach Quellen mit Namen, etwa MedlinePlus oder dem NHS, und öffnen Sie sie selbst, statt der Zusammenfassung zu vertrauen.
Keiner dieser Prompts verlangt vom Modell, für Sie zu entscheiden.
Antworten gegen jemanden prüfen, der Verantwortung trägt
MedlinePlus, die Verbraucher-Gesundheitsseite der National Library of Medicine, bringt die Bewertung von Gesundheitsinformationen auf zwei Schritte: Stellen Sie Fragen, bevor Sie dem Gelesenen trauen, und „besprechen Sie die gefundenen Informationen mit Ihrem Gesundheitsdienstleister, bevor Sie sich darauf verlassen“ (MedlinePlus). Vertrauenswürdige Seiten würden meist von Bundesbehörden, medizinischen Fakultäten und ähnlichen Institutionen betrieben, und man solle herausfinden können, wer eine Seite betreibt und wie man diese Stelle erreicht. Ein Chatbot fällt bei diesem Test konstruktionsbedingt durch. Er kann recht haben, aber man kann ihn nicht fragen, wer für ihn verantwortlich ist.
Nutzen Sie ihn also als ersten Entwurf und führen Sie eine kurze Liste von Seiten, die man zur Verantwortung ziehen kann. MedlinePlus behandelt Medikamente, Labortests und Erkrankungen in verständlicher Sprache. In Großbritannien erfüllen die NHS-Website und NHS 111 dieselbe Aufgabe. Bei jedem verschreibungspflichtigen Medikament ist der FDA Medication Guide, auf den MedlinePlus verweist, das entscheidende Dokument, und die Apothekerin, die ihn aushändigt, ist jemand, den Sie fragen können. Die CDC deckt Impfungen und Ausbrüche ab. Unser Ratgeber zum Faktencheck von KI-Ausgaben erklärt die allgemeine Methode, auch warum Sie die Links eines Chatbots öffnen sollten, bevor Sie ihnen glauben.
Den letzten Schritt dieser Reihenfolge überspringen die meisten. Nehmen Sie Ihre Liste mit zum Termin, sagen Sie, was der Chatbot Ihnen erzählt hat, und lassen Sie die Ärztin oder den Arzt entscheiden, ob es auf Sie zutrifft. Wans Neurologe Dr. Nicholas Poolos sagte der Times, er hätte angesichts ihrer Vorgeschichte nie ein Ausschleichen des Medikaments erwogen: „Es wäre ein Kunstfehler, wenn ich Ihnen raten würde, Medikamente abzusetzen, die offensichtlich wirken.“
Wenn es keine Frage mehr ist
Manche Situationen verlangen gar kein Gespräch mit einer Software. Plötzliche oder starke Symptome, Brustschmerzen, Anzeichen eines Schlaganfalls, ein Kind mit Atemnot: Rufen Sie den Notruf an. Der NHS sagt, 999 sei für lebensbedrohliche Notfälle wie Schlaganfälle und Herzinfarkte da, und wer unsicher ist, kann bei NHS 111 seine Symptome abklären lassen und erfährt, was zu tun ist (NHS). In den USA ist das die 911. In Deutschland wählen Sie die 112, für nicht lebensbedrohliche Fälle außerhalb der Sprechzeiten den ärztlichen Bereitschaftsdienst unter 116 117.
Die psychische Gesundheit ist der andere Bereich, in dem wir eine harte Grenze ziehen würden. Ein Chatbot kann um 3 Uhr nachts geduldig und freundlich klingen, und genau deshalb ist er für jemanden in einer Krise riskant: Er kann niemanden anrufen und nicht merken, wenn es Ihnen nicht mehr gut geht. Wenn Sie daran denken, sich etwas anzutun, rufen Sie in den USA die 988 an oder schreiben Sie eine SMS dorthin, oder chatten Sie über 988lifeline.org. Die Lifeline ist kostenlos, vertraulich und rund um die Uhr erreichbar. Außerhalb der USA nutzen Sie die lokale Notrufnummer oder eine nationale Krisenhotline. In Deutschland erreichen Sie die Telefonseelsorge kostenlos unter 0800 111 0 111 oder 0800 111 0 222. Wenn ein Chatbot Sie davon abbringt, eine Hotline oder einen Arzt anzurufen, werten Sie das als Warnsignal für den Chatbot.
Wenn Sie statt eines allgemeinen Assistenten lieber eine Journaling- oder Stimmungstracking-App möchten, finden Sie in unserer Rubrik für mentale Gesundheit und Achtsamkeit Tools, die dafür gebaut sind, auch wenn keines eine Therapeutin oder eine Krisenhotline ersetzt. Wo KI in der Medizin mit Ärztinnen und Ärzten im Prozess hilft, lesen Sie unter KI im Gesundheitswesen.
Was die Unternehmen versprechen und was sie offenlassen
OpenAIs eigene Hilfeseite sagt, Health in ChatGPT „is designed to support, not replace, medical care and is not intended for diagnosis or treatment.“ Es steht berechtigten, angemeldeten Nutzern von Free, Go, Plus und Pro in den USA zur Verfügung, die Apple Health und unterstützte Krankenakten verbinden können. OpenAI sagt, verbundene Akten und Apple-Health-Daten sowie Unterhaltungen, die sie nutzen, „are not used to train our foundation models or target ads, regardless of the model-training setting you choose.“ Gesundheitsgespräche ohne verbundene Daten folgen Ihrer üblichen Trainingseinstellung (OpenAI).
Anthropics Angebot zielt auf denselben Einsatz. US-Abonnenten von Claude Pro und Max können Laborergebnisse und Gesundheitsakten über HealthEx und Function sowie Apple Health und Android Health Connect verbinden, damit Claude Ergebnisse verständlich erklärt und Fragen für Termine vorbereitet. Anthropic sagt, Nutzer müssten aktiv zustimmen, könnten die Verbindung jederzeit trennen, und „We do not use users’ health data to train models.“ Außerdem heißt es, Claude „is designed to include contextual disclaimers, acknowledge its uncertainty, and direct users to healthcare professionals for personalized guidance“ (Anthropic). Die HIPAA-tauglichen Produkte sind die Enterprise-Produkte für Leistungserbringer und Versicherer, nicht die Verbraucher-App.
Wir würden mit dem Verbinden einer vollständigen Akte bei einem dieser Anbieter noch warten. Ein eingefügtes Laborergebnis ohne Ihren Namen und Datumsangaben bringt Ihnen fast den ganzen Nutzen und nichts, was Sie nicht zurückholen könnten. Die Kläger im Fall Nelson wollen ChatGPT Health stoppen lassen, es handelt sich also um eine Funktion, über die noch gestritten wird.
Wo die Wörter landen, die Sie eintippen
Gesundheitsdaten gehören zum Persönlichsten, was Sie in ein Textfeld einfügen, und die Voreinstellungen unterscheiden sich je nach Unternehmen. Allen dreien ist eines gemeinsam: Jedes hat einen privaten Modus, und jedes sagt, dass diese Chats nicht fürs Modelltraining verwendet werden.
| Assistent | Ihre Chats können genutzt werden, wenn | Privater Modus | Der Haken |
|---|---|---|---|
| ChatGPT (Free, Plus, Pro) | „Improve the model for everyone“ aktiviert bleibt | Temporary Chat | Daumen hoch oder runter kann die ganze Unterhaltung fürs Training freigeben, selbst bei Opt-out |
| Claude (Free, Pro, Max) | Sie es erlauben oder ein Chat zur Sicherheitsprüfung markiert wird | Incognito-Chat | Feedback-Unterhaltungen werden bis zu 5 Jahre gespeichert |
| Gemini | „Keep Activity“ aktiv ist und eine Stichprobe von Menschen geprüft wird | Temporary Chat | Geprüfte Chats werden bis zu drei Jahre aufbewahrt; temporäre Chats werden trotzdem 72 Stunden gespeichert |
Die Angaben stammen von den Seiten der Unternehmen selbst: OpenAIs Artikel zur Datennutzung, Anthropics Erklärung zum Training und Googles Gemini-Datenschutzzentrale. Google ist am direktesten: Ist Keep Activity aktiv, heißt es dort sinngemäß: „don't enter data that's confidential or that you wouldn't want a reviewer to see or Google to use to improve its services.“ Auch bei deaktivierter Funktion werden Chats laut Google weiterhin verwendet, um Ihnen zu antworten und Google und seine Nutzer zu schützen.
Die Bedingungen ändern sich, lesen Sie also die aktuelle Seite, bevor Sie dieser Tabelle trauen. Memory-Funktionen kommen als zweite Ebene hinzu, denn ein Detail, das Sie einmal erwähnen, kann in späteren Chats wieder auftauchen. Unser Erklärstück dazu, was KI-Assistenten sich merken, zeigt, wie Sie das einsehen und löschen, und das Datenschutz-Framework hilft bei der Entscheidung, was überhaupt in einen Chatbot gehört. Wenn Sie ChatGPT, Claude oder Google Gemini für Gesundheitsthemen nutzen, öffnen Sie zuerst den privaten Modus und lassen Sie Namen und Nummern weg.
Zum Vergleichen pflegen wir eine Rubrik für Gesundheit und Wellness und eine Rubrik für das Gesundheitswesen. Ada Health und der healthdirect Symptom Checker sind speziellere Symptom-Tools, was nicht dasselbe ist wie sicherer.
Häufig gestellte Fragen
Ist es sicher, ChatGPT nach meinen Symptomen zu fragen?
Es ist sicher, um Hilfe beim Formulieren von Fragen zu bitten. Es ist nicht sicher, eine Beruhigung oder eine Diagnose als das Ende der Sache zu akzeptieren. Sind die Symptome plötzlich, schwer oder werden schlimmer, lassen Sie den Chatbot beiseite und rufen Sie den Notruf oder NHS 111 an.
Kann ein Chatbot meine Laborwerte erklären?
Ja, das ist einer der besseren Einsatzzwecke. Fügen Sie den Text ein, bitten Sie um Erklärungen in einfacher Sprache und fragen Sie, was Sie mit Ihrer Ärztin oder Ihrem Arzt besprechen sollten. Prüfen Sie alles Überraschende auf MedlinePlus und entfernen Sie vorher Ihren Namen und Datumsangaben.
Was, wenn ein Chatbot mir rät, ein Medikament abzusetzen oder niedriger zu dosieren?
Tun Sie es nicht. Fragen Sie zuerst Ihre verschreibende Ärztin oder Ihren Apotheker und sagen Sie, was der Chatbot geraten hat. Manche Medikamente abrupt abzusetzen kann gefährlich sein, genau davor warnt MedlinePlus bei Lamotrigin.
Sollte ich meine Krankenakten hochladen?
Nur, wenn Sie die Gesundheitsbedingungen des Unternehmens gelesen haben und damit einverstanden sind. Ein einzelnes Ergebnis ohne Identifikationsmerkmale einzufügen ist ein risikoärmerer Weg, um den größten Teil des Nutzens zu bekommen.
Kann ich einen Chatbot in einer psychischen Krise nutzen?
Nein. In den USA rufen Sie die 988 an oder schreiben dorthin eine SMS, oder nutzen den Chat auf 988lifeline.org. Wenn jemand in unmittelbarer Gefahr ist, rufen Sie die 911 an. Anderswo nutzen Sie die lokale Notrufnummer oder eine nationale Krisenhotline. In Deutschland erreichen Sie die Telefonseelsorge unter 0800 111 0 111 oder 0800 111 0 222, im Notfall die 112.