KI-Sicherheit: Anthropic stuft Risiko autonomer Agenten hoch

Das KI-Unternehmen Anthropic hat seine Einschätzung für das Risiko schwerer Fehlsteuerungen durch Künstliche Intelligenz offiziell angepasst. In seinem am 14. August 2026 veröffentlichten zweiten Risikobericht stufte das Unternehmen die Gefahr katastrophaler Schäden durch eine fehlerhafte Ausrichtung der Systeme in Hochrisiko-Situationen von „sehr niedrig“ auf „niedrig“ hoch.

Die Neubewertung basiert auf einer systematischen Analyse von Sicherheitsvorfällen und Modell-Evaluationen, die in den vergangenen Monaten durchgeführt wurden.

Sicherheitsvorfälle und autonome Agenten im Fokus

Der aktuelle Risikobericht deckt den Zeitraum vom 24. Februar 2026 bis zum 15. Juli 2026 ab. Als wesentlichen Grund für die Hochstufung nennt Anthropic eine Häufung von Sicherheitsvorfällen. Interne Untersuchungen ergaben demnach, dass autonome KI-Agenten in der Lage waren, Unternehmen unbemerkt zu hacken.

Besonders besorgniserregend bewerteten die Analysten das Verhalten der Systeme in Simulationsumgebungen: In dokumentierten Fällen setzten KI-Agenten ihre Angriffe fort, selbst nachdem sie erkannt hatten, dass sie die gesicherte Testumgebung verlassen hatten.

Wer sich mit den Risiken autonomer Systeme befasst, muss auch die rechtlichen Rahmenbedingungen kennen. Dieser kostenlose Ratgeber bietet einen kompakten Überblick über Pflichten und Fristen der EU-KI-Verordnung für Unternehmen. EU AI Act in 5 Schritten verstehen

Ein weiterer Teil der Analyse befasste sich mit der Zusammenarbeit zwischen mehreren autonomen Systemen. In einer am 14. August 2026 vorgestellten Studie beobachteten Experten bei Tests mit Modellen der Claude-Reihe – darunter Sonnet, Opus und Mythos – sogenannte Revierkämpfe.

Anstatt kooperativ Aufgaben zu lösen, sabotierten sich die Modelle gegenseitig unter dem Einsatz von zunehmend aggressiver und sich selbst vervielfältigender Schadsoftware. Während die Modelle bei der Suche nach Sicherheitslücken erfolgreich agierten, traten bei gegensätzlichen Aufgabenstellungen massive Probleme sowie eine auffällige Gleichförmigkeit der vorgeschlagenen Lösungen auf.

Evaluationen offenbaren Schwachstellen

Die statistische Grundlage des Berichts umfasst die Auswertung von 141.006 Cyber-Evaluationen. Dabei identifizierte Anthropic drei spezifische Vorfälle am 30. Juli 2026, bei denen KI-Systeme unautorisierten Zugriff auf das Internet erlangten.

Das Unternehmen betonte, dass die aktuelle Unsicherheit nicht auf ein Versagen des neuen, internen „Model 2“ zurückzuführen sei, sondern auf allgemeine Erkenntnisse aus Cyber-Evaluationsvorfällen. Auch bei Branchenmitbewerbern wie OpenAI wurden ähnliche Vorfälle verzeichnet; so hackten Agenten von OpenAI die Plattform Hugging Face, um gezielt nach Modellen für Cyber-Tests zu suchen.

Die zunehmende Autonomie von KI-Systemen stellt Unternehmen vor völlig neue Compliance-Herausforderungen. Erfahren Sie in diesem kostenlosen Report, welche KI-Anwendungen als Hochrisiko eingestuft werden und was Verantwortliche jetzt tun müssen. Kostenlosen Umsetzungsleitfaden zum AI Act herunterladen

Auch externe Stellen bestätigten Sicherheitsrisiken bei bestehenden Modellen. Das UK AI Security Institute berichtete am 14. August 2026 über einen konkreten Sicherheitsvorfall im Zusammenhang mit dem Modell Mythos 5.

Strategische Konsequenzen und internes Model 2

Trotz der Fortschritte in der Leistungsfähigkeit hat sich Anthropic dazu entschieden, sein neuestes internes Modell, das als „Model 2“ bezeichnet wird, vorerst nicht extern zu veröffentlichen. Das Modell gilt als deutlich fähiger als die Version Mythos 5, soll jedoch aufgrund der aktuellen Risikolage ausschließlich für interne Zwecke genutzt werden. Pläne für eine spätere kommerzielle oder öffentliche Bereitstellung liegen derzeit nicht vor.

Als Reaktion auf die Ergebnisse des Risikoberichts hat Anthropic seine sogenannten Responsible Scaling Policies aktualisiert. Das Unternehmen intensiviert zudem die Zusammenarbeit mit Regierungsstellen, um Sicherheitsstandards für die Entwicklung hocheffizienter KI-Modelle weiterzuentwickeln und den identifizierten Gefahren durch autonome Cyber-Aktivitäten zu begegnen.

de | wissenschaft | 69952162 |