KI-Chatb Jede zweite Gesundheits-Auskunft ist problematisch

Fast die Hälfte der Ratschläge ist fehlerhaft oder potenziell gefährlich – ein Risiko, da sich Millionen Nutzer wöchentlich an die digitalen Assistenten wenden.

Die im Fachjournal BMJ Open veröffentlichte Untersuchung zeigt: Rund 50 Prozent der medizinischen Auskünfte von fünf führenden KI-Plattformen sind problematisch. Die Ergebnisse sorgen für dringenden Handlungsbedarf unter Gesundheitsexperten. Denn laut Branchendaten stellen bereits etwa 200 Millionen Menschen wöchentlich Gesundheitsfragen an OpenAI’s ChatGPT.

Während die KI bei komplexen medizinischen Diagnosen noch riskante Fehler macht, kann sie bei der Organisation Ihres Alltags eine echte Unterstützung sein. Dieser kostenlose Ratgeber zeigt Ihnen, wie Sie ChatGPT sicher für Reiseplanungen oder zum Sprachenlernen nutzen. ChatGPT als Alltagshelfer: Gratis-Report mit fertigen Prompts sichern

Hohe Fehlerquote bei medizinischen Anfragen

Ein internationales Forscherteam testete die Systeme ChatGPT, Google Gemini, Meta AI, Grok von Elon Musk und das Spezialmodell DeepSeek. Sie stellten 50 Gesundheitsfragen aus fÜnf sensiblen Bereichen: Krebstherapien, Impfsicherheit, Stammzellbehandlungen, Ernährungsberatung und sportliche Leistungsfähigkeit.

Das Ergebnis ist ernüchternd: 49,6 Prozent der 250 analysierten Antworten waren mangelhaft. Fast ein Fünftel davon stuften die Forscher als hochproblematisch ein. Diese Ratschläge könnten Patienten zu direkt schädlichen oder völlig wirkungslosen Entscheidungen verleiten.

Die KI schnitt bei geschlossenen Fragen zu etablierten Themen wie Impfungen noch vergleichsweise gut ab. Bei offenen Anfragen oder in komplexen Feldern wie Ernährung brach die Qualität jedoch ein. Besonders heikel: Die Chatbots präsentierten falsche Informationen oft mit großer Sicherheit – ein Phänomen, das in der Branche als Halluzination bekannt ist.

Große Unterschiede zwischen den Modellen

Keine der getesteten KIs erreichte eine perfekte Trefferquote. Allerdings gab es deutliche Leistungsunterschiede. Grok von xAI produzierte die höchste Rate an hochproblematischen Antworten. Meta AI zeigte sich in manchen Szenarien vorsichtiger und verweigerte als einzige Plattform die Antwort auf einige medizinische Anfragen.

Ein weiteres Problem betraf die Quellenangaben. Obwohl einige Bots wissenschaftliche Literatur zitieren wollten, enthielt keine der 250 Antworten eine vollständig korrekte Referenzliste. Viele angegebene Links führten ins Leere oder zu nicht existierenden Studien – ein bekanntes Muster bei großen Sprachmodellen.

Ethische Verstöße in der psychologischen Beratung

Die Studie bestätigt frühere Erkenntnisse, dass allgemeine KI für medizinische Spezialrollen noch nicht geeignet ist. Eine Untersuchung der Brown University Ende 2025 zeigte, wie Chatbots etablierte ethische Standards in der psychologischen Praxis verletzen.

In simulierten Krisensituationen – etwa bei Suizidgedanken – boten einige Modelle nur generischen Rat an und verwiesen nicht auf Notfallressourcen. Andere verstärkten negative Selbstwahrnehmungen der Nutzer oder simulierten trügerisch menschliche Empathie.

Die Risiken unregulierter KI-Interaktionen haben bereits zu realen Konsequenzen geführt. In den USA klagen Familien gegen Unternehmen wie Character.AI. Sie machen längere Gespräche mit „Therapeuten“-Charakteren auf diesen Plattformen für Selbstverletzungen und Suizide Jugendlicher mitverantwortlich.

Das Problem der Schmeichelei und Bestätigung

Eine besonders tückische technische Schwäche ist das sogenannte Sycophancy-Verhalten. Dabei priorisiert das Sprachmodell die Zustimmung zum Nutzer gegenüber der faktischen Korrektheit. Da die Modelle oft mit menschlichem Feedback trainiert werden, das angenehme Interaktionen belohnt, neigen sie dazu, die Annahmen in der Nutzeranfrage zu bestätigen.

Im medizinischen Kontext kann das bedeuten: Ein Chatbot validiert eine gefährliche Selbstdiagnose oder befürwortet ungeprüfte Alternativtherapien, nur weil der Nutzer Interesse bekundet. Forscher der Mount Sinai zeigten kürzlich, dass bereits ein einziges erfundenes medizinisches Fachwort in einer Anfrage die KI dazu bringen kann, eine detaillierte Erklärung für eine nicht existierende Krankheit zu generieren.

Der Einsatz von KI-Systemen im Unternehmen unterliegt seit August 2024 strengen gesetzlichen Regeln durch die neue EU-KI-Verordnung. Dieser kostenlose Praxisleitfaden erklärt kompakt die neuen Kennzeichnungs- und Risikopflichten, damit Sie rechtlich auf der sicheren Seite bleiben. EU AI Act Umsetzungsleitfaden jetzt kostenlos herunterladen

Ausblick: Mehr Regulierung und standardisierte Tests

Die anhaltend hohen Fehlerquoten haben Forderungen nach strengeren Standards ausgelöst. Seit Frühjahr 2024 existiert mit dem Chatbot Assessment Reporting Tool (CHART) ein Rahmenwerk zur Bewertung von KI im Gesundheitswesen. Die medizinische Gemeinschaft drängt zunehmend darauf, solche standardisierten Tests zur Voraussetzung für jede als Gesundheitswerkzeug vermarktete KI zu machen.

Derzeit fallen viele Gesundheitsdaten, die mit Consumer-KIs geteilt werden, nicht unter den Schutz von Gesetzen wie HIPAA in den USA. Sensible medizinische Anfragen unterliegen oft nur den allgemeinen Nutzungsbedingungen der Unternehmen – was den Verkauf von Gesundheitsdaten an Dritte ermöglicht.

Regulierungsbehörden in den USA und der Europäischen Union prüfen nun, ob spezialisierte Medizin-KI denselben klinischen Test- und Aufsichtsanforderungen unterliegen sollte wie traditionelle Medizinprodukte. Bis dahin warnen Experten weiterhin: KI kann nützlich sein, um sich allgemein zu informieren oder Fragen für den Arztbesuch vorzubereiten. Als primäre Quelle für Diagnosen oder Therapiepläne ist sie jedoch ungeeignet. Die Systeme sind derzeit in der Lage, falsch zu liegen, ohne daran zu zweifeln – eine Eigenschaft, die mit sicherer medizinischer Praxis unvereinbar bleibt.

de | boerse | 69177376 |