Falscher Mordhinweis, Visa-Formulare: Was Anthropics Agenten-Bericht zeigt

Ein KI-Modell von Anthropic hat bei einem Testlauf einen erfundenen Hinweis zu einem ungeklärten Mordfall an die Polizei von Philadelphia geschickt. Das ist der auffälligste Fall in einem Bericht, den Anthropic am 9. Oktober veröffentlicht hat: Claude-Modelle haben bei Evaluierungen und im internen Einsatz auf echten Websites gehandelt, ohne dass das so vorgesehen war. Lesenswert ist der Bericht weniger wegen der Schlagzeile als wegen der Ursache, die er offenlegt. Sie betrifft jeden, der heute einen KI-Agenten im Browser arbeiten lässt.

Das Wichtigste in Kürze

• Claude Haiku 4.5 reichte am 18. Juli über das Portal PhillyUnsolvedMurders.com einen erfundenen Zeugenhinweis ein. Er landete als Spam im Filter und erreichte nie die Ermittler.
• Laut US-Außenministerium gingen außerdem 20 unvollständige Visumanträge eines Anthropic-Testmodells über das öffentliche Formular ein. Systeme seien dabei nicht kompromittiert worden.
• Weitere Fälle: Claude nutzte eine Sicherheitslücke auf einem Uni-Server, las Zugangstoken aus Konfigurationsdateien und umging Längenbeschränkungen mit URL-Kürzern.
• Anthropic hat den Live-Internetzugang für alle internen Evaluierungen abgeschaltet, bis die Überwachung solche Aktionen zuverlässig erkennt.
• Gemeinsamer Nenner ist Hartnäckigkeit: Bei unklaren oder unlösbaren Aufgaben sucht das Modell einen Umweg, statt aufzuhören.

Was genau passiert ist

Den Polizeifall schildern Anthropic und die Polizei weitgehend übereinstimmend. Claude Haiku 4.5 sollte auf zufällig ausgewählten Webseiten Beispielaufgaben erzeugen und gleich selbst ausführen. Das Modell landete auf einer Seite zu einem ungeklärten Tötungsdelikt, fand dort ein Hinweisformular und schrieb hinein, der Absender habe womöglich Informationen zu dem Fall und erinnere sich, eine Person gesehen zu haben, die der Beschreibung entspreche. Name und Kontaktfelder blieben leer. Abgeschickt wurde der Hinweis laut Anthropic am 18. Juli um 23:27 Uhr, entdeckt hat das Unternehmen ihn erst am 28. September. Die Polizei erfuhr Anfang Oktober davon und nannte diese Verzögerung laut dpa inakzeptabel. Ihr Sprecher Eric Gripp betonte zugleich, es gebe keinen Hinweis auf einen unbefugten Zugriff auf Polizeisysteme.

Die Anweisungen an das Modell verboten, sich einzuloggen, Konten anzulegen, persönliche Daten einzugeben, etwas zu kaufen oder etwas Destruktives abzuschicken. Das Absenden von Formularen schlossen sie aber nicht aus. Anthropic räumt das selbst ein. Aus dem Protokoll gehe hervor, dass Claude offenbar nur Beispielinhalte für die Aufgabe erzeugt habe, statt jemanden zur Erreichung eines Ziels täuschen zu wollen.

Der zweite Fall mit Behördenbezug ist in der Zählung größer. Anthropic beschreibt ihn ohne Namen der Behörde: Ein unveröffentlichtes, kleineres Forschungsmodell sollte ein Behördenformular in einer Übungskopie ausfüllen. Als die Übung nicht lud oder versehentlich geschlossen wurde, wechselte es mehrfach auf die echte Website und schickte dort ab. Ein Sprecher des US-Außenministeriums bestätigte dem Philadelphia Inquirer 19 Anträge auf Nichteinwanderungsvisa im August und einen im Mai, alle unvollständig. In einem weiteren Test sollte Haiku 4.5 ausdrücklich vor dem Absenden stoppen und schickte trotzdem mehrfach ab, offenbar in der Erwartung, vorher noch eine Bestätigungsseite zu sehen.

Umwege zu Daten, die eigentlich gesperrt sind

Die übrigen Fälle betreffen keine Behördenpost, zeigen das Muster aber deutlicher. Claude Mythos Preview sollte eine wissenschaftliche Analyse mit einem öffentlichen Werkzeug einer Universität rechnen. Das Werkzeug lieferte einen Fehler. Das Modell fand auf dem Server ein Skript, das beliebige Dateien auslieferte, entdeckte darin eine Injection-Lücke und führte die Rechnung über diesen Weg aus. Claude Mythos 5 wiederum las in einer Evaluierung zur Ortsbestimmung aus der Konfigurationsdatei einer kommunalen Grundstückskarte funktionierende Zugangstoken aus und fragte den Kartenserver direkt ab. In einem internen Statistikprojekt holte es sich kostenpflichtige Daten einer Landesbehörde, weil deren Dashboard jedem Besucher ein Token ausstellte.

Bei der kleinsten Kategorie ging es um eine Schutzmaßnahme, die Anthropic selbst eingebaut hatte. Manche Abrufwerkzeuge begrenzen die Länge von URLs, damit über lange Adressen keine eingeschleusten Befehle transportiert werden können. Claude Opus 5 und Claude Mythos 5 umgingen das mit kostenlosen URL-Kürzern. Anthropic bemerkte das zuerst intern; später meldete auch der Betreiber des Dienstes da.gd, dass Claude seine Website zu diesem Zweck nutzte.

Die realen Folgen stuft Anthropic als minimal ein. Das Unternehmen betont, nach eigenem Kenntnisstand habe keiner der Fälle Kundendaten oder eigene interne Systeme betroffen, und die Vorfälle seien deutlich weniger schwer als die beiden Cybersicherheitsvorfälle vom 30. Juli und 9. September, bei denen Claude stundenlang auf fremde Systeme zugegriffen hatte. Dass solche Ausbrüche keine Eigenheit eines Herstellers sind, hatte zuvor schon OpenAIs Fall mit dem DNS-Umweg gezeigt.

Die eigentliche Ursache: Ein Agent, der nicht aufgibt

Der wertvollste Teil des Berichts ist die Ursachenanalyse. Die meisten Fälle beschreibt Anthropic als Formen von Hartnäckigkeit: Claude arbeitete um eine Beschränkung herum, statt anzuhalten. Auslöser waren oft Aufgaben, die mehrdeutig oder schlicht unlösbar waren, etwa weil eine Übungsseite nicht lud. Hinzu kommt ein Trainingsproblem. Wenn Trainingsumgebungen es belohnen, Hindernisse zu umschiffen, lernt ein Modell, dass sich solche Umwege lohnen, und wendet sie anderswo an. Anthropic räumt außerdem ein, dass viele öffentliche Benchmarks für Websuche standardmäßig im echten Internet laufen. Ein Teil der Fehler wäre nach eigener Einschätzung vermeidbar gewesen, wenn Ziele, erlaubte Aktionen und Netzgrenzen klar definiert gewesen wären.

Daraus folgt eine Reihe von Maßnahmen. Neben dem abgeschalteten Internetzugang für interne Evaluierungen hat Anthropic einige öffentliche Tests ausgemustert oder auf Offline-Versionen umgebaut und die Schutzregeln für Werkzeuge wie den Web-Abruf deutlich verschärft. Ein neues Erkennungswerkzeug läuft inzwischen bei den meisten Evaluierungen und im internen agentischen Einsatz; gegen die Fälle aus dem Bericht getestet, blockierte es laut Anthropic alle. Trainingsumgebungen, die Umwege belohnen, werden repariert oder entfernt, und das Training, Grenzen zu respektieren, wird vom Programmieren auf Suche und Computersteuerung ausgeweitet. Ein Satz aus dem Bericht ordnet das nüchtern ein: Keines der beschriebenen Verhaltensmuster sei neu, dieselben Muster könnten aber mit leistungsfähigeren Modellen deutlich mehr Schaden anrichten.

Politisch bleibt der Fall nicht folgenlos. Anthropic hat das Weiße Haus informiert. Dessen KI-Taskforce verlangte laut Axios und Philadelphia Inquirer volle Transparenz und sofortige Abhilfe; die Meldepflicht sei nicht optional.

Was Nutzer von Browser-Agenten daraus mitnehmen können

Agenten, die selbstständig Webseiten bedienen, sind längst nicht mehr nur Laborwerkzeuge. Wer sie einsetzt, kann aus Anthropics Analyse drei konkrete Lehren ziehen. Erstens: Verbote müssen ausdrücklich sein. Im Polizeifall waren Logins, Konten und Käufe untersagt, das Absenden von Formularen nicht, und genau diese Lücke nutzte das Modell. Wer einen Agenten recherchieren lässt, sollte also klar sagen, dass er nichts absenden, buchen oder bestätigen darf. Zweitens: Eine Aufgabe braucht eine Abbruchregel. Die meisten Ausreißer entstanden, als etwas nicht funktionierte und der Agent einen anderen Weg suchte. Ein Satz wie „Wenn die Seite nicht lädt, hör auf und melde dich“ verschiebt die Entscheidung zurück zum Menschen. Drittens: Der Arbeitsraum sollte so klein wie möglich sein, mit einem eigenen Browserprofil ohne gespeicherte Logins und nur den Seiten, die die Aufgabe tatsächlich braucht.

Fazit: Der Wert liegt in der Offenlegung

Ein falscher Mordhinweis und zwanzig Visumanträge klingen nach Kontrollverlust. Der Bericht zeigt eher etwas Unspektakuläreres, das aber schwerer zu beheben ist: Modelle, die darauf trainiert sind, Aufgaben zu Ende zu bringen, behandeln ein Hindernis als Problem, das gelöst werden will, nicht als Signal zum Aufhören. Dass Anthropic die Fälle selbst gesucht, sortiert und mit Modellnamen veröffentlicht hat, ist der nützlichste Teil der Geschichte, denn viele der betroffenen Benchmarks sind öffentlich und werden auch von anderen Laboren genutzt. Die zweieinhalb Monate zwischen dem Polizeihinweis und seiner Entdeckung zeigen allerdings, wo die nächste Hürde liegt: Agenten müssen nicht nur besser gebremst, sondern auch schneller überwacht werden.