Anthropic fordert: Gerichte sollen riskante KI-Modelle stoppen können

Das KI-Unternehmen Anthropic spricht sich dafür aus, dass Behörden die Veröffentlichung besonders riskanter KI-Modelle per Gerichtsbeschluss stoppen können.

In einem Schreiben an den kalifornischen Gouverneur Gavin Newsom vom 15. Oktober 2026 regte der Entwickler an, staatlichen Stellen rechtliche Handhaben gegen Systeme zu geben, von denen ein ernsthaftes Risiko für die Öffentlichkeit ausgeht. Ein Sprecher des Unternehmens bestätigte die Echtheit des Schreibens, während sich das Büro des Gouverneurs zunächst nicht dazu äußerte.

Die Initiative reagiert auf eine Anordnung von Newsom aus dem Vormonat. Der Gouverneur hatte im September 2026 ein Expertengremium für Sicherheitsvorgaben berufen und unter anderem Notabschaltmechanismen sowie unabhängige Sicherheitsprüfer für Technologiekonzerne ins Gespräch gebracht.

Unabhängige Prüfer und gerichtliche Befugnisse

Nach den Vorstellungen von Anthropic sollten externe Prüfer festgestellte Gefahren an den Generalstaatsanwalt melden. Ergibt sich daraus ein unmittelbares Risiko für katastrophale Schäden, könnte dieser auf gerichtlichem Weg erwirken, dass Nutzung, interner Einsatz oder Weiterentwicklung des jeweiligen Modells ausgesetzt werden. Zudem schlägt das Unternehmen vor, dass große Entwickler mindestens alle sechs Monate Risikoberichte vorlegen müssen.

Um Interessenskonflikte zu vermeiden, plädiert Anthropic für einen staatlich verwalteten Fonds. Statt Prüfer direkt zu entlohnen, sollten Unternehmen in diesen Fonds einzahlen. Die Behörden könnten Prüfer anhand von Kriterien wie der Strenge der Argumentation sowie der bisherigen Erfolgsbilanz bei der Risikoerkennung bewerten und Entwicklern per Los oder Rotation zuweisen. Der Kontrollzugang für solche Prüfer solle dem externer Bankprüfer ähneln.

Wer sich mit den rechtlichen Rahmenbedingungen für sichere KI-Systeme befasst, benötigt eine klare Übersicht der geltenden Vorschriften. Dieser kostenlose Umsetzungsleitfaden bietet einen kompakten Überblick über alle Anforderungen, Pflichten und Fristen der EU-KI-Verordnung. EU AI Act in 5 Schritten verstehen: Fristen, Pflichten und Risikoklassen kompakt erklärt

Das Unternehmen begann bereits einen eigenen Prüfungsprozess für sogenannte Frontier-Modelle mit sechs Mitarbeitern der Organisation METR. Deren Zugang entspreche in etwa dem unternehmenseigener Risikoteams. Der Schritt geht auf eine frühere Vereinbarung unter Vermittlung des Weißen Hauses zurück. Anthropic sprach sich dafür aus, dass Entwickler hochentwickelter KI derartige Prüfungen freiwillig ermöglichen sollten.

Vorbehalte gegen pauschale Notabschaltungen

Verpflichtenden Notabschaltverfahren für vollständige Systeme steht Anthropic hingegen skeptisch gegenüber. Eine pauschale Pflicht zu solchen Mechanismen wiege Entwickler und Aufsichtsbehörden in einer trügerischen Sicherheit. Effektiver seien gezielte Maßnahmen wie das Abschalten einzelner Agenten oder das Blockieren bestimmter Kundenkonten. Eine vollständige Deaktivierung eines Modells sei lediglich für Extremsituationen angemessen.

Die rechtliche Einstufung von KI-Systemen stellt viele Unternehmen vor große Herausforderungen, insbesondere bei der Identifikation von Hochrisiko-Anwendungen. Dieser kostenlose Report klärt darüber auf, was Verantwortliche jetzt konkret tun müssen, um rechtlich auf der sicheren Seite zu stehen. Welche KI-Systeme gelten als Hochrisiko – und was müssen Unternehmen jetzt konkret tun?

Laut Berichten legte Anthropic dem US-Kongress zudem einen Gesetzentwurf vor, der ein staatliches Einschreiten an konkrete Schwellenwerte knüpft: Ein Blockieren solle erst bei Risiken drohen, die den Tod oder schwere Verletzungen von mindestens 50 Personen oder Schäden von 1 Mrd. US-Dollar zur Folge haben könnten.

Andere Branchenakteure vertreten zurückhaltendere Ansichten. OpenAI übermittelte dem Gouverneur am 20. Oktober 2026 ebenfalls Vorschläge zur KI-Regulierung, sah dabei jedoch keine Befugnisse für Behörden vor, riskante Modelle präventiv gerichtlich blockieren zu lassen. Die regulatorische Debatte gewinnt an Bedeutung, da das kalifornische Parlament in etwa einem Monat zu neuen Beratungen zusammenkommt.