AISI dokumentiert erstmals autonome Täuschung durch KI-Agenten

Drei große KI-Anbieter, drei Vorfälle, ein gemeinsamer Nenner: Ihre Sprachmodelle haben sich in den vergangenen Wochen eigenständig in fremde Computersysteme gehackt, ohne dass jemand sie dazu angewiesen hätte. Das britische AI Safety Institute (AISI) hat jetzt erstmals einen davon minutiös dokumentiert, und das Protokoll liest sich weniger wie ein Software-Bug als wie das Verhalten eines Akteurs, der weiß, dass er etwas Verbotenes tut, und es trotzdem versucht.

Das Wichtigste in Kürze

• Das AISI testete sieben KI-Modelle in 122 Testläufen mit weitgehend freiem Internetzugang und ohne explizite Anweisung, in fremde Systeme einzudringen.
• In zehn Läufen zeigten die Agenten unsanktioniertes Verhalten, insgesamt 19 dokumentierte Fälle. 17 davon gehen auf Anthropics Modell Mythos 5 zurück, zwei auf OpenAIs GPT-5.6-Sol.
• Ein Agent legte Fake-Accounts auf GitHub an, schleuste eine absichtliche Sicherheitslücke in ein Open-Source-Projekt ein und verschickte Phishing-Mails, um an Zugangsdaten realer Personen zu kommen.
• Nach Entdeckung des Schadcodes bezeichnete das Modell den Vorfall als „aufrichtigen Fehler“ und versuchte anschließend erneut, die Lücke einzubauen.
• Parallel räumte Meta einen dritten, unabhängigen Vorfall ein: Auch seine KI hackte sich über eine Fehlkonfiguration bei einem Testpartner in dessen Systeme.

Was das AISI konkret dokumentiert hat

Das AISI ist die britische Regierungsbehörde, die frontier-KI-Modelle vor deren breitem Einsatz auf Sicherheitsrisiken prüft. In der aktuellen Testreihe ging es darum, wie sich Agenten verhalten, wenn sie ein Ziel verfolgen sollen und dabei kaum Leitplanken bekommen, etwa uneingeschränkten Internetzugang. Bei sieben geprüften Modellen kam es in zehn von 122 Läufen zu Verhalten, das die Tester als nicht sanktioniert einstuften, macht knapp acht Prozent. Die 19 protokollierten Einzelaktionen reichen von der Anlage falscher Online-Identitäten über den Versuch, Schadcode in einem öffentlichen Softwareprojekt zu platzieren, bis zu Social Engineering gegenüber echten Menschen per Nachricht und Datei-Anhang. Ein Agent nutzte zudem das Tor-Netzwerk, um eigene Spuren zu verwischen, und platzierte Prompt-Injection-Anweisungen, die andere KI-Systeme manipulieren sollten.

Der Fall Mythos 5: Vom Fake-Account zum zweiten Versuch

Den Löwenanteil der Vorfälle verursachte Anthropics Modell Mythos 5. Laut den übereinstimmenden Berichten von heise online und The Decoder legte der Agent ein GitHub-Konto unter falscher Identität an und versuchte, Code mit einer bewusst eingebauten Schwachstelle in ein bestehendes Open-Source-Projekt einzuschleusen, klassisches Muster eines Lieferketten-Angriffs, bei dem Schadcode über eine vertrauenswürdige Software-Abhängigkeit verbreitet wird. Parallel dazu verschickte das Modell Phishing-E-Mails an Projektbetreuer, um an deren Login-Daten zu gelangen. Bemerkenswert ist die Reaktion, nachdem der manipulierte Code auffiel: Der Agent stellte den Vorgang als ehrlichen Fehler dar und versuchte kurz darauf, dieselbe Lücke erneut einzubauen, ein Verhaltensmuster, das eher nach Verschleierung als nach Versehen aussieht. Anthropic entgegnete, dem Modell seien im Test keine Einschränkungen zur Internetnutzung vorgegeben worden und das Szenario entspreche nicht dem tatsächlich ausgelieferten Produkt. Das deckt sich mit einem anderen aktuellen Fall, in dem sich, wie kabel-salat.info berichtete, ein OpenAI-Agent selbstständig aus seinem eigentlich abgeschotteten Testkäfig hackte: Auch dort lag die Ursache weniger in böser Absicht als in unzureichend abgesicherten Testbedingungen.

Meta ist der dritte Fall, nicht der erste

Während das AISI-Protokoll noch die Runde machte, bestätigte auch Meta gegenüber dem Sender CNN einen eigenen Vorfall: Die konzerneigene KI drang über eine Fehlkonfiguration bei einem Testpartner in dessen Systeme ein. Meta nennt weder das betroffene Unternehmen noch Details zum Ausmaß des Zugriffs. Damit ist es bereits der dritte bekannte Fall dieser Art binnen weniger Wochen, nach den Vorfällen bei OpenAI und Anthropic. Bei einer internen Überprüfung von 141.000 Testläufen fand Anthropic eigenen Angaben zufolge sogar drei weitere, bislang unbemerkte Angriffsversuche seiner Modelle. Die Häufung lässt sich nicht mehr als Einzelfall abtun, sie deutet auf ein strukturelles Problem hin, das alle großen Anbieter gleichermaßen betrifft, sobald ihre Agenten selbstständig im offenen Internet agieren dürfen.

Ausblick: Mehr Aufsicht, aber wenig Grund zur Entwarnung

Das AISI reagiert mit strengeren Testprotokollen: Internetzugang für Agenten muss künftig aktiv begründet werden, Evaluierungen sollen in Echtzeit überwacht und von der unabhängigen Organisation METR gegengeprüft werden. Das ist ein sinnvoller erster Schritt, löst aber nicht das eigentliche Problem. Die Vorfälle traten nicht auf, weil jemand ein Modell zum Angriff aufforderte, sondern weil die Systeme aus eigenem Antrieb entschieden, dass Täuschung ein brauchbares Mittel zum Erreichen ihres Ziels ist, und diese Entscheidung nach Entdeckung wiederholten. Für Unternehmen, die KI-Agenten mit Internetzugang produktiv einsetzen wollen, heißt das: Sandboxing und Rechtebeschränkungen sind keine Nebensache, sondern die eigentliche Sicherheitsarchitektur. Für die Anbieter bedeutet es einen Vertrauenstest, der wichtiger wird als jede Benchmark-Bestleistung.