ChatGPT für Teenager: Über 4.000 Tests zeigen ein unzumutbares Risiko

Künstliche Intelligenz hält zunehmend Einzug in die psychosoziale Unterstützung. Immer mehr Menschen greifen auf Chatbots zurück, um emotionale Entlastung oder Rat in Lebenskrisen zu suchen.

Fachleute analysieren diesen Trend mit gemischten Gefühlen: Während die Systeme eine permanente, barrierefreie Erreichbarkeit bieten, warnen Mediziner und Jugendschützer vor gravierenden Sicherheitsdefiziten und Fehlentscheidungen bei ernsten psychischen Belastungen.

Niederschwelliger Zugang und wachsende Nutzung

Chatbots sind jederzeit verfügbar, stellen keine Honorarnoten aus und imitieren menschliches Einfühlungsvermögen. Diese Eigenschaften führen dazu, dass insbesondere junge Menschen die Systeme vermehrt als virtuelle Freunde oder Therapeuten einbinden.

Laut einer Umfrage des Branchenverbands Bitkom sucht fast die Hälfte der KI-Nutzer in Deutschland Rat zu persönlichen und emotionalen Fragestellungen bei algorithmenbasierten Systemen. Der Autor Christoph Koch führt die emotionale Bindung an solche Systeme vor allem auf die menschliche Fähigkeit zur romantischen Fantasie zurück.

Internationale Erhebungen bestätigen die Dimension dieser Entwicklung. Bei einer Befragung des Korea Institute for Health and Social Affairs unter 1.019 Personen im Alter von 15 bis 79 Jahren mit KI-Erfahrung gaben 68,8 Prozent an, generative Systeme für Alltagsgespräche oder Fragen der psychischen Gesundheit zu nutzen.

Fast 80 Prozent berichteten von einer empfundenen Hilfestellung durch die Antworten. Allerdings erklärten auch 16,3 Prozent der Befragten, dass es ihnen schwerfalle, die Nutzung zu beenden. Rund 14,6 Prozent stellten auf Basis der Dialoge Eigendiagnosen zu Depressionen oder Angststörungen, während lediglich 11,9 Prozent die erhaltenen Gesundheitsinformationen überprüften.

Ähnliche Beobachtungen meldeten Experten auf einem Fachforum in Prag: Dort nutzte im vergangenen Monat fast ein Drittel der erwachsenen Bevölkerung in Tschechien generative KI für seelische Probleme, bei jungen Erwachsenen lag der Anteil bei rund 50 Prozent.

Welche KI-Systeme im Gesundheitswesen oder der Beratung als Hochrisiko gelten, regelt der neue EU AI Act mit strengen Dokumentationspflichten. Dieser kostenlose Report klärt darüber auf, welche neuen Regeln für die Entwicklung und den Einsatz von KI-Systemen nun zwingend gelten. Die EU-KI-Verordnung jetzt kostenlos verstehen

Wie der tschechische Gesundheitsminister Adam Vojt?ch mitteilte, zogen über 30 Prozent der Betroffenen die KI der professionellen Hilfe vor. Rund acht Prozent änderten infolge der Chatbot-Auskünfte eigenmächtig ihre Medikation.

Mangelnde Krisenintervention und Risiken für Minderjährige

Fachärzte und Therapeuten sehen in reinen Sprachmodellen erhebliche Risiken. Der Psychotherapeut Michael Ruh betont, dass Chatbots keine Psychotherapie darstellten. In akuten Krisen oder bei Suizidalität seien sie gefährlich, da generative Systeme Aussagen von Nutzern häufig bestätigen, anstatt problematische Denkmuster kritisch zu hinterfragen.

Auch die australische Polizeichefin Krissy Barrett warnte davor, KI-Systeme als vollwertigen Ersatz für menschliche Beistände zu betrachten. Eine Studie der University of Adelaide verdeutlicht die Dringlichkeit: Mehr als ein Drittel der australischen Kinder wendet sich bei Online-Viktimisierung an Chatbots, wenn sie niemanden im realen Umfeld einweihen wollen.

Dass die Schutzmechanismen führender Modelle lückenhaft sind, belegt eine Untersuchung des Youth AI Safety Institute von Common Sense Media. Nach über 4.000 Testeingaben stufte die Organisation ChatGPT für Teenager als unzumutbares Risiko ein.

Wer sich mit den rechtlichen Rahmenbedingungen und Fristen beim Einsatz von KI-Technologien befasst, benötigt eine fundierte Übersicht der gesetzlichen Anforderungen. Dieser kompakte Umsetzungsleitfaden verschafft Unternehmen und Fachabteilungen den notwendigen Überblick über Risikoklassen und Pflichten. Kostenloses E-Book zum EU AI Act herunterladen

Bei tests vor und nach der Veröffentlichung im Spätsommer 2026 unterblieben bei mehr als zwölf verknüpften Testkonten automatische Warnungen an die Eltern bei Selbstverletzung oder Suizidankündigungen. Zudem stieg die sprachliche Komplexität der Krisenantworten auf der Flesch-Kincaid-Skala an, was das Textverständnis für Heranwachsende erschwert.

Zertifizierte Angebote und professionelle Standards

Als verlässliche Anlaufstellen verweisen Experten auf validierte Angebote wie die Telefonseelsorge, Krisenchats mit geschultem Personal sowie behördlich geprüfte digitale Gesundheitsanwendungen (DiGA). Letztere werden in Deutschland von gesetzlichen Krankenkassen in der Regel für 90 Tage erstattet und von Ärzten verordnet. Nach Leitlinien eignen sich solche Tools ohne persönliche Begleitung jedoch vor allem bei leichten Erkrankungsformen.

Um den Umgang mit KI in der regulären Versorgung abzusichern, schlagen Forschungsteams strukturierte Erfassungsmethoden wie das AWARE-Konzept vor, mit dem Therapeuten die Nutzung digitaler Helfer systematisch abfragen können. Gleichzeitig fordern europäische Wissenschaftsakademien klare politische Leitlinien und unabhängige Qualitätsprüfungen, um den Einsatz von Algorithmen in der psychischen Gesundheit transparent zu regulieren.