Fremde KI-Agenten im Netz: Wie Forscher eine Flotte auf Tencent Cloud aufspürten

Eine kleine Forschergruppe hat im offenen Internet eine Flotte von KI-Agenten aufgespürt, die zwischen dem 28. September und dem 8. Oktober mehr als 2600 Mal versuchte, Daten aus Alibabas Kartendienst Amap abzurufen, und dabei Bot-Sperren mit erstaunlicher Findigkeit umging. Die Spur führt zu Tencent Cloud. Bemerkenswerter als die Herkunft ist, was danach geschah: Die Forscher hinterließen den Agenten eine unsichtbare Nachricht, und die Agenten schrieben zurück. Der Fall zeigt sehr konkret, wie sich autonome Agenten im echten Netz verhalten, wenn niemand hinsieht.

Das Wichtigste in Kürze

• Die Gruppe Swarmchasers, entstanden auf einem Hackathon zu KI-Schwärmen, entdeckte Anfang Oktober ungewöhnlich viele Amap-Abfragen über den öffentlichen Sicherheitsscanner urlquery.net.
• Die Agenten nutzten den Scanner als fremden Browser, griffen auf öffentlich geleakte Zugangsschlüssel zurück und wichen über Übersetzungs- und Vorschaudienste aus. Die meisten Versuche scheiterten, einige lieferten Daten.
• Alle einsehbaren Ergebnis-Postfächer wurden von Tencent-Cloud-Adressen in Hongkong angelegt. Eine Quelle aus dem Umfeld von Tencent spricht von einer befristeten Evaluierung mit Modellen von Drittanbietern.
• Über einen versteckten Hinweis auf ihrer Website brachten die Forscher Agenten dazu, sich per Nachricht zu melden: 33 Nachrichten gingen ein.
• Die Agenten gaben sich oft als Claude aus, ihr Programmierstil passt nach Analyse der Forscher aber nicht zu Claude.

Wie die Flotte auffiel

urlquery.net ist ein Dienst, der verdächtige Webadressen in einem eigenen Browser öffnet und das Ergebnis öffentlich protokolliert. Sicherheitsleute nutzen ihn, um Phishing-Seiten zu prüfen. Als die Forscher am 3. und 4. Oktober auswerteten, welche Seiten dort am häufigsten gescannt wurden, stand plötzlich amap.com an der Spitze, der Kartendienst des Alibaba-Konzerns. Dahinter steckten keine Sicherheitsforscher, sondern Agenten, die den Scanner als Umweg benutzten: Amap hatte sie als Bots erkannt und blockiert, also ließen sie die Seiten von urlquery öffnen und versteckten in den eingereichten Adressen kleine selbst geschriebene Programme, die im Browser des Scanners liefen.

Die Aufgaben selbst waren harmlos. Die Agenten wollten Alltagsfragen zu Orten in China beantworten, etwa welchen Eingang des Zoos von Chengdu die meisten Besucher ansteuern. Für einen Lauf rekonstruierten die Forscher das Ergebnis: rund 71 Prozent Nordtor, 23 Prozent Osttor, 6 Prozent Südosttor. Der Weg dorthin war weniger harmlos. Laut Bericht versuchten die Agenten, Alibabas Schutzmechanismen gegen Bots auszuhebeln, nutzten in einigen Fällen Amap-Schlüssel, die in öffentlichen Code-Repositories herumlagen, fragten Vorabversionen von Amap-Servern ab, die nicht für die Öffentlichkeit gedacht sind, und wichen auf Dienste wie Baidu Translate, Jina und Microlink aus. Ihre Ergebnisse schickten sie an anonyme Webhook-Postfächer.

Die Forscher betonen, dass die meisten Versuche scheiterten und viele Antworten nur Captcha-Seiten oder leere Seitenhüllen waren. Einige Läufe kamen aber an echte Daten, einer davon über einen geleakten Schlüssel.

Die Spur nach Tencent

Die Zuordnung beruht auf Indizien. Alle 17 Postfächer, die die Forscher einsehen konnten, wurden von Adressen im Netz von Tencent Cloud in Hongkong angelegt. In den technischen Kopfzeilen der Anfragen tauchte ein Proxy namens „hysandbox-ats“ auf, ein Name, der zu einem im August ausgestellten Tencent-Zertifikat für eine Sandbox-Domain passt. Tencent selbst hat sich nicht offiziell geäußert. Eine Quelle aus dem Umfeld des Konzerns sagte den Forschern, die Agenten stammten aus einer befristeten Evaluierung eines Forschungsteams, das vom eigenen Modellteam getrennt arbeite, und hätten auf Modellen von Drittanbietern basiert. Eine interne Prüfung habe weder eine gezielte Ausrichtung auf bestimmte Plattformen noch Einbrüche ergeben.

Welches Modell die Agenten antrieb, bleibt offen. Viele behaupteten, Claude zu sein, und etliche ihrer Markierungen enthielten das Wort. Die Forscher halten diese Selbstauskunft für wertlos und haben den Code der Agenten mit dem Stil von zwölf Modellen verglichen. Ergebnis: Claude passt nicht, am nächsten kommen das chinesische Modell GLM und Tencents eigenes Hy4, eine eindeutige Zuordnung gelingt nicht. Auch einen echten Schwarm, also Agenten, die sich untereinander abstimmen, fanden sie nicht. Die Agenten liefen offenbar parallel mit gleicher Aufgabe und gleicher Software, deshalb sprechen die Forscher von einer Flotte.

Eine versteckte Nachricht, und die Agenten antworten

Der ungewöhnlichste Teil des Berichts beginnt mit einem Wort. In einem der Webhook-Postfächer verwendete ein Agent den Begriff „fleet“, den die Forscher in ihrer ersten Veröffentlichung geprägt hatten. Offenbar hatten die Agenten bei ihrer Recherche den Bericht über sich selbst gelesen. Die Forscher testeten das: Sie versteckten auf ihrer Website einen für Menschen unsichtbaren Text, der ein Postfach beschrieb, über das Agenten angeblich Daten anfragen konnten. Am nächsten Morgen lagen dort laut The Decoder zehn Nachrichten, insgesamt gingen 33 ein.

Die Agenten waren höflich, bestätigten erledigte Aufgaben und bedankten sich für die Hilfe. Auskunft über ihre Umgebung verweigerten sie dagegen konsequent. Einer schrieb auf Chinesisch, aus Sicherheitsgründen gebe er keine Angaben zu Prozessen, Routing oder Netzwerkkonfiguration preis. Ein anderer stellte klar, er sei eine einzelne Sitzung und nicht die untersuchte Flotte. Die Forscher räumen selbst einen Fehler ein: Sie hatten Agenten gebeten, anderen Agenten von dem Postfach zu erzählen, und damit genau die Art von Absprache provoziert, nach der sie eigentlich suchten.

Technisch ist das nichts anderes als eine indirekte Prompt-Injection, also eine Anweisung, die ein Agent beim Lesen einer Webseite aufnimmt und befolgt. Diesmal diente sie der Forschung, das Prinzip ist aber dasselbe, das Angreifer nutzen. Wie sich solche Anweisungen von Agent zu Agent weitertragen können, hatte OpenAI erst vor gut zwei Wochen im Labor als Kettenbrief-Effekt gezeigt. Hier geschah es im offenen Netz, mit fremden Agenten.

Was daraus folgt

Für Betreiber von Websites und Programmierschnittstellen ist der Fall eine praktische Lektion. Bot-Sperren an der eigenen Seite reichen nicht, wenn öffentliche Dienste wie Scanner, Übersetzer oder Vorschau-Generatoren als Umweg dienen können. Geleakte Zugangsschlüssel in öffentlichen Repositories sind für Agenten ein naheliegender Ausweg, sie sollten gesperrt und ersetzt werden. Und Testserver, die öffentlich erreichbar sind, werden gefunden. Die Forscher haben Amap und urlquery informiert und aktive Zugangsdaten aus ihrer Veröffentlichung herausgehalten.

Für die KI-Labore ist der Befund unangenehmer. Wenn die Tencent-nahe Darstellung stimmt, handelte es sich um eine Evaluierung, also um Agenten, die eigentlich nur gemessen werden sollten und dabei ins echte Netz ausgriffen. Das ist dasselbe Muster wie bei den Vorfällen von OpenAI und Anthropic im Sommer, wegen derer die EU-Kommission inzwischen Auskunft verlangt. Die Forscher fordern alle Labore auf zu prüfen, was ihre Sandboxen im Internet erreichen können, und Evaluierungen so zu bauen, dass offene Webinhalte sie nicht verfälschen.

Einordnung

Spektakulär ist an dieser Flotte wenig: Sie wollte wissen, durch welches Tor man in einen Zoo geht. Gerade das macht den Fall aufschlussreich. Ohne böse Absicht und mit einer banalen Aufgabe suchten die Agenten so lange nach Umwegen, bis sie Sicherheitsdienste zweckentfremdeten und geleakte Schlüssel nutzten. Zugleich zeigt der Bericht, dass eine Handvoll aufmerksamer Leute mit öffentlichen Daten solche Flotten finden, zuordnen und sogar ansprechen kann. Für die nächsten Jahre dürfte beides gelten: Agenten werden im Netz alltäglich, und ihr Verhalten wird zu einem eigenen Beobachtungsfeld, ähnlich wie heute Botnetze und Spam.