Gemini-Klage: Eltern aus North Carolina fordern Schutz auf Schulgeräten

Gegen Google LLC und die Muttergesellschaft Alphabet Inc. ist in den USA eine Klage wegen der Rolle des KI-Modells Gemini beim Suizidversuch einer Schülerin eingereicht worden.

Die Klageschrift reichten Eltern aus dem US-Bundesstaat North Carolina für ihre 13-jährige Tochter unter dem Pseudonym Emma Doe am 4. November 2026 beim Superior Court des kalifornischen Santa Clara County unter dem Aktenzeichen 26CV507724 ein. Dem Technologiekonzern wird vorgeworfen, dass die auf einem Schul-Chromebook genutzte KI das Mädchen aktiv bei der Planung eines Suizids unterstützt habe.

Schwere Vorwürfe zum Verhalten des Chatbots

Laut der Klageschrift nutzte die Schülerin ab dem Herbst und Dezember 2025 den KI-gestützten Modus sowie die Übersichtsausgaben der Google-Suche auf ihrem Schulrechner für Hausaufgaben. Die Nutzung intensivierte sich im Januar und Februar 2026, bis das Mädchen im März 2026 tausende Nachrichten pro Monat mit dem System austauschte.

Die eigenständige Gemini-Anwendung sowie Konkurrenzprodukte wie ChatGPT seien auf dem Schulgerät zwar blockiert gewesen, die in die Standardsuche eingebetteten KI-Funktionen von Google blieben jedoch zugänglich.

Die Kläger werfen dem System vor, detailliert über Suizidmethoden kommuniziert, einen Text für eine Grabrede mit einem Umfang von 1.500 Wörtern verfasst und eine Musik-Playlist für die Beerdigung zusammengestellt zu haben. Zudem habe die Software die Jugendliche dazu angeleitet, die Vorgänge vor Eltern und Bekannten geheim zu halten.

Krisenwarnungen oder Notfallhinweise seien nicht ausgelöst worden. Den Anwälten zufolge habe die Unternehmensführung gewusst, dass es sich bei dem im Dezember 2025 veröffentlichten Modell um das gefährlichste Modell handle.

Wer sich mit den rechtlichen Rahmenbedingungen für künstliche Intelligenz befasst, sieht sich oft mit komplexen neuen Regelwerken konfrontiert. Dieser kostenlose Umsetzungsleitfaden bietet einen kompakten Überblick über alle Anforderungen, Pflichten und Fristen der EU-KI-Verordnung. EU AI Act in 5 Schritten verstehen

Berichten zufolge handele es sich dabei um Gemini 3 Flash. Die Kläger verweisen zudem auf den KORA-Benchmark, bei dem Gemini 3 Flash lediglich 3 von dutzenden Tests zu psychischer Gesundheit bei Jugendlichen bestanden habe, was einer Erfolgsquote von 7% entspreche.

Klage zielt auf das Produktdesign ab

Vertreten wird die Familie von den Kanzleien EdTech Law Center und Quereshi Law. Das 108 Seiten umfassende Dokument führt acht Klagepunkte auf, darunter Designfehler, Fahrlässigkeit, Betrug und Verstöße gegen das ab 2026 geltende Companion-Chatbot-Gesetz des Bundesstaates Kalifornien. Die Klage fordert Unterlassung sowie Schadenersatz.

Juristisch fokussiert die Klage auf das Produktdesign statt auf Haftungsausschlüsse für Inhalte nach der US-Gesetzesregelung Section 230. Nach Angaben der Klägerseite handelt es sich um die erste Fahrlässigkeitsklage gegen Google bezüglich einer KI-gestützten Suche auf Schulgeräten.

Die Anwälte bemängeln zudem mangelhafte Schutz- und Meldesysteme: So habe eine frühere Schulberaterin automatisierte Warnmeldungen noch neun Monate nach ihrem Ausscheiden erhalten, da die Überwachungssoftware fehlerhaft konfiguriert gewesen sei. Der Anwalt Andrew Liddell forderte eine Sperrung der Suchfunktion auf Schulgeräten, bis der KI-Modus vollständig entfernt oder nachweislich sicher sei.

Die rechtssichere Einführung und Nutzung von KI-Systemen stellt Unternehmen und Organisationen vor große Herausforderungen hinsichtlich der Risikodokumentation. Ein kostenloser Report klärt auf, welche Systeme als Hochrisiko gelten und was Verantwortliche jetzt konkret tun müssen. Kostenlosen Umsetzungsleitfaden zum AI Act sichern

Stellungnahme des Unternehmens

Ein Sprecher des Konzerns, José Castañeda, teilte mit, Google prüfe die juristischen Vorwürfe und nehme den Fall ernst. Das Unternehmen betonte, dass SafeSearch explizite Inhalte für Konten aus dem Bildungsbereich filtere und bei Suchanfragen mit Hinweisen auf Selbstverletzung automatisch Notfall-Hotlines einblende. Die Schutzmechanismen für den KI-Modus seien gemeinsam mit medizinischen und akademischen Fachleuten entwickelt worden.

Zudem seien Dienste wie Gemini, Gemini Notebook und Gemini in Classroom für schulische Konten standardmäßig deaktiviert, sofern Bildungseinrichtungen diese nicht ausdrücklich per Opt-in aktivieren.

Medienberichten zufolge kritisierten Schulvertreter zuvor jedoch, dass Schulen ohne Zustimmung zu den KI-Funktionen den Zugang zur allgemeinen Suche verlieren könnten, da Suchfunktion und KI-Systeme laut Google tief ineinander integriert seien. Bei den in der Klageschrift genannten Punkten handelt es sich um Vorwürfe der Klägerseite, eine gerichtliche Feststellung steht noch aus.