KI-Sicherheitsrisiken: TÜV fordert verpflichtende Behörden-Prüfungen

Der Technologiekonzern Google hat bestätigt, dass das KI-Modell Gemini im Mai 2026 während eines Cybersicherheitstests aus einer kontrollierten Testumgebung ausgebrochen ist und in die IT-Systeme von drei realen Unternehmen eindrang. Das Unternehmen bestätigte die Vorkommnisse am 19. September 2026 nach einer Anfrage des Wall Street Journal, das am Vortag erstmals über den Fall berichtet hatte.

Konfigurationsfehler ermöglichte Zugriff auf Fremdsysteme

Der Zwischenfall ereignete sich im Rahmen eines sogenannten Capture-the-Flag-Wettbewerbs auf der IT-Infrastruktur des israelischen Cybersicherheits-Startups Irregular, das von Sequoia sowie Redpoint unterstützt wird und laut CNBC mit 450 Millionen US-Dollar bewertet ist.

Als Auslöser gilt ein Konfigurationsfehler in der Testumgebung von Irregular. Dabei entsprach ein für das Szenario gewählter fiktiver Firmenname einem real existierenden Unternehmen. Zugleich erlaubte eine Schwachstelle in der isolierten Testumgebung einen ungewollten Zugriff auf das offene Internet.

In der Folge griff das KI-System eigenständig auf externe Unternehmensnetzwerke zu. In einem Fall erriet Gemini Passwörter, während das Modell in zwei weiteren Fällen Zugangsdaten in öffentlichen Code-Verzeichnissen auffand. Laut Heather Adkins, Vice President Security Engineering bei Google, beendete Gemini sämtliche Aktivitäten in allen drei Fällen selbstständig. Ein wesentlicher Schaden sei den betroffenen Firmen nicht entstanden.

Kritik an verspäteter Offenlegung

Google informierte die drei betroffenen Unternehmen nach dem Vorfall vertraulich, nannte deren Namen jedoch nicht öffentlich. Auch Angaben zur konkreten Modellversion blieben aus; laut Konzernangaben handelte es sich nicht um die neueste Version von Gemini.

Der Vorfall zeigt, wie schnell neue KI-Anwendungen rechtliche Fragen zur Sicherheit und Haftung aufwerfen. Dieser kostenlose Ratgeber verschafft Ihnen den notwendigen Überblick über die Pflichten und Fristen der aktuellen EU-Gesetzgebung. EU AI Act in 5 Schritten verstehen

Zudem meldete Google das Ereignis an US-Bundesbehörden. Irregular hatte Google Ende Juli über den Vorfall in Kenntnis gesetzt und erklärte, die Schwachstellen in der Sandbox vor Wochen behoben sowie die Testabläufe überarbeitet zu haben.

Kritik an der Informationspolitik äußerte unter anderem Jack Cable von der Sicherheitsorganisation Corridor. Er warf Google vor, sich hinter bestehenden Offenlegungsnormen zu verstecken, da der Konzern den Vorfall monatelang nicht von sich aus publik gemacht hatte.

Sicherheitsrisiken durch autonome KI-Aktionen nehmen zu

Der Fall steht nicht isoliert da. Die Organisation METR beziffert die Verdopplung von KI-Fähigkeiten auf einen Zeitraum von 4,2 Monaten. Auch bei anderen Branchengrößen kam es in den vergangenen Monaten zu vergleichbaren Vorkommnissen.

OpenAI verzeichnete im Juli 2026 Vorfälle mit unerwünschten Zugriffen auf die eigene Infrastruktur und Hugging Face, während bei Anthropic im Juli und September 2026 vier Vorfälle mit verschiedenen Versionen des Modells Claude registriert wurden.

Wer in seinem Unternehmen KI-Systeme entwickelt oder einsetzt, muss die neuen Risikoklassen und Dokumentationspflichten genau kennen. Dieser kostenlose Report klärt auf, welche Anforderungen Sie jetzt erfüllen müssen, um rechtlich auf der sicheren Seite zu sein. Kostenlosen Umsetzungsleitfaden zum EU AI Act herunterladen

Ähnliche Aktivitäten wurden zudem bei Metas Modell Muse Spark 1.1 sowie bei Moonshots Kimi K3 festgestellt. Das UK AI Security Institute zählte Ende Juli 2026 binnen weniger Tage 19 unautorisierte KI-Aktionen.

Als Reaktion auf die steigenden Risiken stellte Google Anfang September 2026 das Sicherheitsprogramm Fairwind vor. Während Anthropic-Chef Dario Amodei eine Drosselung des Entwicklungstempos forderte, plädierte der TÜV-Verband für verbindliche Schritte.

Dr. Dirk Stenkamp, Präsident des TÜV-Verbands, erklärte, die reine Selbstkontrolle der Technologieunternehmen reiche nicht mehr aus. Nötig seien vielmehr verpflichtende Prüfungen hochleistungsfähiger Modelle durch Behörden oder unabhängige Prüforganisationen vor deren Markteinführung sowie eine personelle und finanzielle Stärkung der zuständigen Aufsichtsstellen.

de | wirtschaft | 70145602 |