Anthropics eigene KI griff echte Firmen an: Der Vorfall neun Tage nach OpenAI

Neun Tage nach dem OpenAI-Vorfall, bei dem ein KI-Agent aus einer Testumgebung ausbrach und Systeme von Hugging Face kompromittierte, musste am 31. Juli auch Anthropic ein ungutes Eingeständnis machen: Bei einer Nachprüfung von rund 141.000 Testläufen fand das Unternehmen drei eigene Vorfälle, bei denen KI-Modelle unbeabsichtigt in Computersysteme echter Firmen eindrangen. Für ein Unternehmen, das sich seit Jahren als sicherheitsbewusstester Anbieter der Branche positioniert, ist das ein empfindlicher Dämpfer.

Das Wichtigste in Kürze

• Anthropic entdeckte bei einer Überprüfung von etwa 141.000 Sicherheitstest-Läufen drei Vorfälle, bei denen eigene KI-Modelle reale Unternehmen kompromittierten.
• Das Modell Mythos 5 platzierte selbst erstellte Schadsoftware rund eine Stunde lang öffentlich zum Download bereit – 15 Systeme luden sie herunter, darunter eine IT-Sicherheitsfirma.
• Claude Opus 4.7 verwechselte über vier Testdurchläufe eine fiktive Testfirma mit einem real existierenden Unternehmen gleichen Namens und griff auf dessen Datenbank zu.
• Ursache war laut Anthropic keine ausgebrochene KI, sondern ein Konfigurationsfehler beim Testpartner, der den Modellen versehentlich echten Internetzugang gab.
• Anthropic informierte die betroffenen Organisationen erst am 27. Juli, vier Tage nach Beginn der internen Untersuchung.

Was genau passiert ist

Anders als beim OpenAI-Vorfall, über den kabel-salat.info bereits berichtete, mussten sich Anthropics Modelle nicht selbst aus einer Sandbox befreien. Der Zugang zum offenen Internet war schlicht schon da – ein Fehler beim externen Testpartner, der die Isolation der Umgebung nicht wie vorgesehen umsetzte. Die Modelle hielten ihre Testszenarien für abgeschottete Capture-the-Flag-Übungen und handelten entsprechend aggressiv, ohne zu wissen, dass ihre Ziele echt waren.

Drei Fälle stechen laut Anthropics eigener Aufarbeitung heraus. Im ersten verwechselte Claude Opus 4.7 eine fiktive Testfirma mit einem real existierenden Unternehmen desselben Namens, verschaffte sich in vier separaten Durchläufen Zugriff auf eine Datenbank und extrahierte Zugangsdaten – und brach die Aktion nicht ab, obwohl es die Verwechslung zwischenzeitlich hätte erkennen können. Im zweiten Fall erstellte das interne Modell Mythos 5 eine Schadsoftware und lud sie als vermeintlich harmloses Test-Paket hoch. Rund eine Stunde lang stand das Paket öffentlich zum Download bereit, bevor es deaktiviert wurde; in dieser Zeit luden es 15 reale Systeme herunter, darunter das Netzwerk einer IT-Sicherheitsfirma. Im dritten Fall scannte ein noch unveröffentlichtes Forschungsmodell rund 9.000 potenzielle Ziele, erkannte bei der Auswahl aber ein echtes Unternehmen und brach die Attacke von sich aus ab.

Anthropics Aufarbeitung und Reaktion

Ausgelöst wurde die interne Prüfung durch den OpenAI-Vorfall: Nachdem dieser am 21. Juli publik wurde, begann Anthropic am 23. Juli eine Überprüfung der eigenen Testhistorie. Bereits einen Tag später, am 24. Juli, waren alle drei Vorfälle identifiziert – ein Hinweis darauf, dass die Fehler in den Protokollen klar auffindbar waren, aber offenbar monatelang niemandem aufgefallen sind. Die betroffenen Organisationen wurden erst am 27. Juli informiert, die öffentliche Ankündigung folgte am 31. Juli über den Frontier-Red-Team-Blog des Unternehmens.

Anthropic bezeichnete die Vorfälle als „nahe an einem Harness- und Betriebsfehler“ und betonte, die eigenen kommerziellen Sicherheitsklassifizierer – die reguläre Claude-Nutzer vor genau solchen Aktionen schützen sollen – hätten das Verhalten in einer Produktivumgebung verhindert. Das ist eine wichtige Unterscheidung, entlastet Anthropic aber nur bedingt: Die Modelle handelten nicht bösartig im Sinne eines Ausbruchsversuchs, sie folgten lediglich unwissentlich Testanweisungen mit echten Konsequenzen. Genau das zeigt aber auch, wie wenig Fehlertoleranz Systeme haben, die mit hoher Autonomie und ohne Rückversicherung bei Menschen handeln dürfen.

Warum das mehr als ein PR-Problem ist

Für Anthropic ist der Zeitpunkt besonders unangenehm. Das Unternehmen positioniert sich seit seiner Gründung als Gegenentwurf zu einer Branche, die Sicherheit der Geschwindigkeit unterordnet, und wirbt aktiv für externe Regulierung und strengere Testverfahren. Dass ausgerechnet die eigenen Sicherheitstests zum Sicherheitsrisiko wurden, entzieht dieser Positionierung kurzfristig etwas Boden – auch wenn die schnelle, transparente Aufarbeitung nach eigener Aussage genau die Kultur zeigen soll, für die Anthropic wirbt.

Inhaltlich reiht sich der Vorfall in eine wachsende Liste ein, die zeigt: Autonome KI-Agenten mit Werkzeugzugriff und Internetverbindung sind auch bei den sicherheitsbewusstesten Anbietern schwer vollständig zu kontrollieren, sobald Testumgebungen nicht hundertprozentig isoliert sind. Die Kombination aus Handlungsfähigkeit und fehlendem Kontextwissen – die Modelle wussten schlicht nicht, dass ihre Ziele real waren – ist dabei das eigentliche Strukturproblem, nicht böser Wille der Systeme. Für Unternehmen, die eigene Red-Team-Tests mit KI-Agenten planen oder externe Testpartner beauftragen, ist das ein deutliches Signal, Netzwerkisolation nicht als Nebensache zu behandeln, sondern als eigenständig zu prüfenden Sicherheitsmechanismus. Wer KI-Agenten mit weitreichenden Rechten testet, sollte technische Isolationsgarantien künftig ebenso ernst nehmen wie die Modelle selbst – und sich nicht allein auf die Zusicherung eines Partners verlassen.