Frontier-KI: TÜV-Verband fordert unabhängige Prüfungen vor dem Marktstart

Anlässlich des Digital-Gipfels der Bundesregierung in Berlin haben der TÜV-Verband und das TÜV AI.Lab ein Whitepaper für eine unabhängige Prüf- und Aufsichtsstruktur vorgelegt. Das Konzept zielt auf sogenannte Frontier-KI sowie autonome KI-Agenten ab. Den Kernpunkt des Papiers bildet die Forderung, leistungsfähige KI-Modelle künftig grundsätzlich vor ihrer Markteinführung eingehend zu prüfen.

Umfassende Kontrollen entlang des Entwicklungszyklus

Nach den Plänen der beiden Organisationen sollen die Kontrollen nicht erst beim fertigen Endprodukt ansetzen. Stattdessen sei eine Begleitung über den gesamten Lebenszyklus der Systeme notwendig, die bereits während der Entwicklungsphase beginnt.

Zu den Prüfbereichen zählen die spezifischen Fähigkeiten der Systeme, bestehende Schutzmechanismen sowie das tatsächliche Verhalten unter realistischen Einsatzbedingungen. Damit unabhängige Prüfer diese Aufgaben erfüllen können, fordern der Verband und das AI.Lab einen gesicherten Zugang zu den Modellen selbst, zu den zugrundeliegenden Trainingsprozessen und zu weiteren sicherheitsrelevanten Informationen.

Während Experten über künftige Prüfstrukturen diskutieren, müssen Unternehmen bereits heute die geltenden gesetzlichen Rahmenbedingungen für Künstliche Intelligenz erfüllen. Dieser kostenlose Leitfaden bietet einen kompakten Überblick über alle aktuellen Anforderungen, Pflichten und Fristen des EU AI Acts. EU AI Act in 5 Schritten verstehen: Fristen, Pflichten und Risikoklassen kompakt erklärt

Eine zentrale Rolle weisen die Autoren dem deutschen KI-Sicherheitsinstitut (AISI) zu. Dieses solle in enger Kooperation mit unabhängigen Prüforganisationen agieren.

Um dieser Aufgabe gerecht zu werden, plädieren der TÜV-Verband und das TÜV AI.Lab dafür, das AISI schrittweise zu einer eigenständigen Institution auszubauen, die mit einem klaren Mandat und ausreichenden Ressourcen ausgestattet ist. Dr. Joachim Bühler, Geschäftsführer des TÜV-Verbands, unterstrich, dass digitale Souveränität auch bedeute, fremde Technologien unabhängig prüfen zu können.

Internationale Abstimmung und Risikomanagement

Auf internationaler Ebene drängen die Organisationen auf einheitliche Sicherheitsanforderungen innerhalb der Europäischen Union. Zugleich fordern sie eine enge Abstimmung mit Partnerländern wie Großbritannien, Kanada und Japan.

Die rechtssichere Einordnung von KI-Systemen in Risikoklassen stellt viele Organisationen vor große Herausforderungen. Erfahren Sie in diesem praxisnahen Report, welche Systeme als Hochrisiko gelten und wie Sie die notwendige Dokumentation rechtssicher umsetzen. Welche KI-Systeme gelten als Hochrisiko – und was müssen Unternehmen jetzt konkret tun?

Langfristig streben der TÜV-Verband und das TÜV AI.Lab ein völkerrechtlich verbindliches internationales Abkommen an, das verpflichtende Prüfungen vor der Bereitstellung festschreibt und klare Risikogrenzen setzt. Zudem schlagen sie die Einführung eines weltweiten Meldesystems für schwerwiegende KI-Sicherheitsvorfälle vor.

Franziska Weindauer, Geschäftsführerin des TÜV AI.Lab, sieht deutliche Lücken bei der derzeitigen staatlichen Aufsicht über Frontier-KI und fordert ebenfalls einen internationalen Regelungsrahmen.

Insbesondere bei neuartigen agentischen KI-Systemen gestalte es sich schwer, die damit verbundenen Risiken verlässlich in den Griff zu bekommen. Da sich Schäden durch den Einsatz von KI nie völlig ausschließen ließen, entwickelt das TÜV AI.Lab eigene Prüfverfahren für KI-Systeme, um Gefahrenpotenziale messbar und kontrollierbar zu machen.