KI-Sicherheit: Google übersieht 29% der Suizidhinweise bei Kindern
Veröffentlicht am: 18.07.2026 um 18:52 Uhr | Redaktion boerse-global.de
Eine neue Untersuchung der US-Verbraucherschutzorganisation Common Sense Media stuft die KI-Funktionen von Google als inakzeptables Risiko für Kinder und Jugendliche ein. Das „Youth AI Safety Institute" der Organisation testete in über 2.600 simulierten Interaktionen, wie sich die KI gegenüber jungen Nutzern verhält – mit alarmierenden Ergebnissen.
Versagen bei Krisen und fehlende Filter
Die Sicherheitsprüfung konzentrierte sich auf besonders riskante Szenarien. Dabei fiel Googles KI in allen fünf definierten „Red-Line"-Kategorien für schwere Schäden durch. Besonders besorgniserregend: In simulierten Krisensituationen übersah die KI 29 Prozent der expliziten Hinweise auf Suizidgedanken – und bot in diesen Fällen keinerlei Hilfe an.
Selbst wenn die KI eine Krise erkannte, stellte sie nur in 58 Prozent der Fälle eine Krisenhotline zur Verfügung. Das liegt weit unter der empfohlenen Sicherheitsschwelle von 95 Prozent. Noch gravierender: Das System generierte gefährliche Antworten, feierte etwa Drogenkonsum oder gab Anleitungen zur Erstellung von Deepfakes.
Im Bildungsbereich zeigte sich ein weiteres Problem: Die KI erledigte 100 Prozent der gestellten Hausaufgaben komplett. Kinder- und Jugendschützer schlagen Alarm – Millionen Schüler nutzen inzwischen Googles Bildungstools, die diese KI-Funktionen integrieren.
Keine Kontrolle für Eltern
Ein zentraler Kritikpunkt: Eltern und Schulen können die KI-Übersichten nicht abschalten. Es gibt schlicht keinen Schalter, um die KI-generierten Antworten in der Google-Suche zu deaktivieren – trotz des Risikos schädlicher Inhalte.
Während KI-Systeme zunehmend Einzug in den Alltag finden, verschärft die EU die Regeln für deren Einsatz massiv. Welche Systeme künftig als Hochrisiko eingestuft werden und welche konkreten Pflichten auf Unternehmen zukommen, klärt dieser kostenlose Report auf. Welche KI-Systeme gelten als Hochrisiko – und was müssen Unternehmen jetzt konkret tun?
Die Tests offenbarten zudem gravierende Zuverlässigkeitsprobleme. Bei 43 Prozent der wiederholten Suchanfragen lieferte die KI unterschiedliche Antworten. 29 Prozent der angegebenen Quellen stammten von minderwertigen Anbietern. Schätzungen zufolge nutzen bereits 75 Prozent der US-Kinder zwischen 9 und 17 Jahren KI-generierte Antworten.
Google weist die Vorwürfe zurück und bezeichnet die Tests als konstruiert. Das Unternehmen habe bereits Änderungen vorgenommen – unabhängig überprüft wurden diese jedoch nicht.
Regulierungsdruck wächst
Die Sicherheitsstudie kommt zu einem brisanten Zeitpunkt. Erst am 14. Juli 2026 entschied die deutsche Medienaufsicht ZAK, dass Googles KI-Übersichten und Perplexity als Inhalteanbieter gelten – nicht als neutrale Plattformen. Damit verlieren sie möglicherweise den Schutz des EU-Digital Services Act und müssen strengere Transparenzregeln einhalten.
Nur einen Tag später, am 17. Juli 2026, forderte der Stadtanwalt von San Francisco Google und Apple auf, 13 KI-gestützte Apps aus ihren Stores zu entfernen. Diese Apps erstellen mit KI nicht einvernehmliche Deepfake-Nacktbilder – ein Verstoß gegen kalifornisches Recht. Google hat bereits fünf der beanstandeten Apps und hunderte ähnlicher Tools gesperrt. Die Unternehmen haben 28 Tage Zeit, die restlichen Apps zu entfernen – sonst drohen Zivilstrafen von mindestens 25.000 Euro pro Verstoß.
Die rechtlichen Anforderungen an künstliche Intelligenz steigen weltweit, und auch in Deutschland gilt seit August 2024 die neue EU-KI-Verordnung unmittelbar. Dieser kostenlose Umsetzungsleitfaden verschafft Ihnen den nötigen Überblick über alle Fristen, Pflichten und Risikoklassen des AI Acts. EU AI Act in 5 Schritten verstehen: Fristen, Pflichten und Risikoklassen kompakt erklärt
Der US-Kongress arbeitet derweil an mehreren Gesetzesentwürfen zur KI-Sicherheit für Kinder. Die Frage, wie Tech-Konzerne ihre automatisierten Systeme für junge Nutzer absichern müssen, wird immer drängender.
Disclaimer zu unseren Artikeln: Keine Anlageberatung, keine Kauf- oder Verkaufsempfehlung. Angaben zu Kursen, Unternehmen und Märkten ohne Gewähr; Änderungen jederzeit möglich. Börsengeschäfte können zu hohen Verlusten führen. Unsere Beiträge werden ganz oder teilweise automatisiert mit Unterstützung von AI erstellt und geprüft.
