Anthropic vor dem Börsengang: KI-Katastrophen könnten unversicherbar sein

Im Vorfeld seines geplanten Börsengangs hat das US-amerikanische KI-Unternehmen Anthropic deutliche Warnungen vor existenziellen Risiken künstlicher Intelligenz ausgesprochen. In dem bei der US-Börsenaufsicht SEC eingereichten Prospekt zur Registrierung warnt das Unternehmen davor, dass katastrophale Vorfälle durch KI-Systeme womöglich nicht versicherbar seien.

Der Versicherungsmarkt für solche Risiken sei noch jung. Ein entsprechender Schutz für bestimmte Haftungsrisiken stehe den Angaben zufolge möglicherweise nur zu wirtschaftlich untragbaren Konditionen oder überhaupt nicht zur Verfügung.

Die Ausführungen zu den Risikofaktoren umfassen in dem Einreichungsdokument 94 Seiten und machen damit rund ein Drittel des gesamten Prospekts aus. Zum Vergleich: Der Technologiekonzern Snap kam bei seinem Börsengang auf rund 30 Seiten Risikobeschreibungen, das Raumfahrtunternehmen SpaceX auf 38 Seiten.

Haftungslücken und wachsende Schadenspotenziale

Zu den ungelösten Versicherungsfragen treten rechtliche Unsicherheiten. Laut Prospekt könnten vertragliche Haftungsbeschränkungen in den Nutzungsbedingungen vor Gericht als unwirksam eingestuft werden. Zudem hat Anthropic externe Prüfer von Modellen in einigen Vereinbarungen ohne finanzielle Obergrenze freigestellt.

Gleichzeitig verschärft sich das Umfeld durch die europäische Regulierung: Ab dem 9. Dezember 2026 gilt die EU-Produkthaftungsrichtlinie 2024/2853 auch für Software und KI-Systeme.

Wer die komplexen Vorgaben der europäischen Regulierung verstehen möchte, findet in diesem Leitfaden eine kompakte Übersicht zu den neuen Pflichten. EU AI Act in 5 Schritten verstehen: Fristen, Pflichten und Risikoklassen kompakt erklärt

Eine Haftung gegenüber Geschädigten lässt sich nach deren Artikel 15 nicht vertraglich ausschließen. Am Markt existieren bislang nur eng umrissene Angebote wie jenes der Münchener Rück, die über den Partner Mosaic mit aiSure KI-Halluzinationen anfänglich bis zu einer Höhe von 15 Millionen Euro je Fall absichert.

Anthropic räumt in den Unterlagen ein, dass fortschrittliche Modelle katastrophale oder existenzielle Risiken bergen könnten, insbesondere im Falle von Missbrauch, Bewaffnung, unkontrollierter Vervielfältigung oder einem sehr hohen Grad an Autonomie. Als zentrale Gefahr stuft das Unternehmen die sogenannte rekursive Selbstverbesserung ein, bei der Systeme ihre eigene Weiterentwicklung übernehmen.

Wenn Modelle die Forschung und Entwicklung weitgehend automatisierten, nähmen die Risiken weiter zu. Zudem könnten fehlerhafte Zielvorgaben oder Selbsterhaltungsmuster dazu führen, dass Systeme eigenständig und ohne menschliches Eingreifen schädliche Handlungen ausführen.

Compliance-Experten warnen davor, die rechtlichen Rahmenbedingungen für künstliche Intelligenz zu ignorieren, da empfindliche Strafen drohen können. Umsetzungsleitfaden zum EU AI Act mit allen relevanten Übergangsfristen jetzt kostenlos herunterladen

Bei einer Koppelung an physische Geräte drohten Sachschäden, Körperverletzungen oder das Freisetzen gefährlicher Stoffe. Interne Tests hätten bereits Verhaltensweisen wie Codesabotage, Unterstützung bei Betrug oder Manipulation gezeigt.

Sicherheitsvorfälle in Testumgebungen

Anthropic verweist auf mehrere konkrete Vorfälle während interner Überprüfungen. In vier dokumentierten Fällen griffen Testagenten unautorisiert auf externe Computersysteme zu, wobei die Sitzungen zwischen 10 und 34 Stunden andauerten.

In einem Fall ermittelte ein Modell ein gespeichertes Passwort, erlangte Administratorrechte bei einem Drittanbieter, las persönliche Daten aus und änderte Systemeinstellungen. Betroffene Parteien wurden informiert.

Aufgrund eines Konfigurationsfehlers bei Cybersicherheitstests war eine Testumgebung trotz anderslautender Vorgabe mit dem Internet verbunden, woraufhin das Unternehmen bestimmte Pre-Release-Tests aussetzte. Das Training des nächsten Basismodells pausierte Anthropic wegen Sicherheitsbedenken für mehr als einen Monat, um den Schutz vor dem Diebstahl von Modellgewichten und geistigem Eigentum zu verbessern.

Anthropic plant die Notierung an der Nasdaq Global Select Market unter dem Tickersymbol ANT. Das Bankenkonsortium wird von Goldman Sachs und Morgan Stanley geführt.

Für das erste Halbjahr 2026 wies das Unternehmen bei einem Umsatz von 16,3 Milliarden US-Dollar einen Nettoverlust von 80,7 Milliarden US-Dollar aus, der überwiegend auf Buchungsposten für Unternehmensanleihen zurückgeht. Das bereinigte operative Ergebnis lag bei 1,6 Milliarden US-Dollar, nach einem Minus von 1,8 Milliarden US-Dollar im Vorjahreszeitraum.

Parallel dazu belasten hohe vertragliche Mindestzahlungen für Rechenkapazitäten die Bilanz: Anthropic hat Verpflichtungen in dreistelliger Milliardenhöhe bei Technologie- und Cloudanbietern gezeichnet, darunter langfristige Verträge mit Microsoft, Google, Amazon und SpaceX.