ChatGPT-Sperren, Stunden

ChatGPT-Sperren: 24 Stunden Kontosperre bei sexualisierenden Inhalten

Veröffentlicht am: 17.11.2026 um 06:05 Uhr | Redaktion boerse-global.de
Das neue OpenAI-System erkennt auch synthetische CSAM-Inhalte; ChatGPT-Nutzer riskieren bei Verstößen zunächst eine 24-stündige Kontosperre.
Ein moderner Serverraum mit in dunkles Licht getauchten Server-Racks und dezenten Status-Anzeigen. Illustration mit AI erstellt.

OpenAI hat ein neues Klassifikationsmodell zur Erkennung von Darstellungen sexuellen Kindesmissbrauchs (CSAM) vorgestellt, das spezifisch auch KI-generiertes Material identifizieren kann.

Begleitend dazu setzt das Unternehmen verschärfte Nutzungsregeln durch: Wer versucht, Inhalte zu generieren, die Minderjährige sexualisieren, wird mit einer 24-Stunden-Sperre belegt. Das Prüfwerkzeug soll für verifizierte Organisationen kostenfrei über die Anwendungsschnittstelle (API) von OpenAI zugänglich sein.

Technische Spezifikationen und statistische Leistungsdaten

Die technische Modellkarte weist für das Erkennungssystem zwei zentrale Grenzwerte aus: einen Schwellenwert von 0,996324 für die Einstufung als mutmaßliches CSAM sowie 0,90 für den spezifischen Nachweis synthetisch erzeugter Inhalte. Der Klassifikator wurde anhand von 505.000 positiven und 913.000 negativen Beispielen trainiert.

In Offline-Evaluierungen, die auf rund 7.000 positiven und 40.000 negativen Datenpunkten basierten, erzielte das System einen Präzisionswert von 0,991, eine Trefferquote (Recall) von 0,802 – was 5.490 von 6.849 relevanten Fällen entspricht – und einen F1-Wert von 0,886. Für die Erkennung generativer KI-Inhalte lagen die Messwerte bei einer Präzision von 1,000, einem Recall von 0,864 (1.966 von 2.275 Fällen) sowie einem F1-Wert von 0,927. Ein Testlauf auf 1.248.985 Aufnahmen des Datensatzes Re-LAION-5B resultierte je nach Kriterium in 5 beziehungsweise 0 Markierungen.

Anzeige

Die rasante Entwicklung von KI-Systemen bringt komplexe neue Regeln mit sich, die viele Unternehmen vor Herausforderungen stellen. Dieser kostenlose Download verschafft Ihnen den Überblick über Fristen, Pflichten und Risikoklassen, den Ihre Rechts- und IT-Abteilung jetzt dringend braucht. EU AI Act in 5 Schritten verstehen

Die Dokumentation verweist zugleich auf bestehende Schwächen des Modells. So fällt der Recall bei Darstellungen von Säuglingen auf 0,493. Bei Inhalten mit dem Merkmal Schwarz lag die Erkennungsrate bei 61,27 Prozent, verglichen mit 84,48 bis 90,32 Prozent bei anderen Gruppen. Bei weiblichen Darstellungen lag der Wert bei 0,893 gegenüber 0,603 bei männlichen Abbildungen.

Praxistests und neue Sanktionsstufen bei ChatGPT

In internen Untersuchungen markierte das Programm 48 Prozent weniger Bilder bei annähernd gleicher Trefferzahl, wobei die erfassten Daten etwa doppelt so häufig tatsächlichen Missbrauch darstellten. Erste Implementierungen bei Partnerunternehmen zeigten ähnliche Resultate: Bei fal wurden 72 Prozent der mit hoher Wahrscheinlichkeit markierten Dateien als neuartiges CSAM bestätigt.

Beim Dienst invideo AI führte einer von vier Treffern zu einem Benutzerausschluss. Bei SafetyKit wurden 90 Prozent der Fälle im Bereich von Zeichnungen und Animationen identifiziert, während Fehlalarme bei legalem Erwachsenenmaterial unter 1 Prozent blieben.

Anzeige

Wer KI-Systeme entwickelt oder einsetzt, muss heute genau wissen, welche Anwendungen als Hochrisiko eingestuft werden und welche Dokumentationspflichten bestehen. Ein kostenloser Report klärt über die neuen Regeln der EU-KI-Verordnung auf und zeigt, was Unternehmen jetzt konkret tun müssen. Kostenlosen Umsetzungsleitfaden zum AI Act herunterladen

Für den Chatbot ChatGPT greift ein gestuftes Warnsystem. Neben dem Löschen der betreffenden Unterhaltung droht Nutzern beim Erstverstoß eine Kontosperre von 24 Stunden. Wiederholte Versuche führen zu längeren Sperren, der dauerhaften Schließung des Benutzerkontos oder einer Meldung an Ermittlungsbehörden.

Die Maßnahmen wurden gemeinsam mit Organisationen wie Protect Children und der Lucy Faithfull Foundation konzipiert; Joel Scanlan von der University of Tasmania führte eine unabhängige Auswertung durch. Am 16. November 2026 stellte OpenAI zudem Leitlinien für Softwareentwickler sowie Trainingsangebote und Analysewerkzeuge für Strafverfolgungsbehörden bereit.

Steigender Druck durch Zunahme synthetischer Missbrauchsbilder

Laut John Buckley, Leiter für Child Safety Public Policy bei OpenAI, ist das System der erste breit verfügbare Klassifikator mit einem eigenständigen Signal für synthetische Inhalte. Die Entwicklung erfolgte mit Unterstützung der CyberTipline des National Center for Missing & Exploited Children (NCMEC); die Verbreitung wird durch ROOST sowie über das Lantern-Programm der Tech Coalition koordiniert.

Der Schritt reagiert auf eine deutliche Zunahme KI-generierter Missbrauchsmaterialien. Nach Angaben des NCMEC gingen bei der CyberTipline im Jahr 2025 über 400.000 Meldungen mit Bezug zu generativer Künstlicher Intelligenz ein, nach 67.000 im Jahr 2024. Der Generalstaatsanwalt des US-Bundesstaates North Carolina, Jeff Jackson, bezeichnete diese Entwicklung als explosiv. In den Vereinigten Staaten haben mittlerweile 48 US-Bundesstaaten gesetzliche Vorschriften gegen sexuell explizite KI-Deepfakes erlassen.

Disclaimer...
de | wissenschaft | 70524686 |