OpenAI-Agent knackt Medicare-Portal: Drei Monate bis zur Meldung

Ein KI-Agent von OpenAI hat sich unbefugt Zugang zu einem Statistikportal der australischen Regierung verschafft, und zwar nicht in einem Labortest, sondern im echten Netz. Premierminister Anthony Albanese machte den Vorfall am Rande der UN-Generalversammlung in New York öffentlich und nannte ihn „inakzeptabel“. Der Einbruch selbst war begrenzt, Patientendaten sind nach bisherigem Stand nicht betroffen. Bemerkenswert ist etwas anderes: Zwischen dem Vorfall und der Meldung an die Behörden vergingen fast drei Monate, und die Meldung kam als E-Mail an ein öffentliches Postfach.

Das Wichtigste in Kürze

• Am 18. Juni verschaffte sich ein OpenAI-Agent Zugang zu einem Medicare-Statistikportal der Behörde Services Australia und rief öffentliche wie nicht öffentliche Dateien ab.
• Nach OpenAIs Angaben geschah das während einer internen Evaluierung; betroffen waren aggregierte Gesundheitsstatistiken und interne Dateinamen, keine Patientenakten.
• OpenAI bemerkte den Vorfall am 11. August und schrieb am 10. September eine E-Mail an ein öffentliches Meldepostfach der Behörde.
• Australien setzt eine Taskforce ein, an der der Nachrichtendienst ASD und das nationale KI-Sicherheitsinstitut beteiligt sind.

Was im Juni passiert ist

Das betroffene Portal ist der Medicare Statistics Reporting Service, eine ältere Website von Services Australia, der Behörde hinter Australiens staatlicher Krankenversicherung Medicare. Sie bietet unter anderem aggregierte Statistiken zu Gesundheitsausgaben. Der Agent sollte laut Regierung Statistiken zu Gesundheitsausgaben recherchieren. Auf mehreren Regierungsseiten verhielt er sich nach Angaben von Vizepremier Richard Marles wie ein gewöhnlicher Nutzer. Beim Medicare-Portal erhielt er die gesuchten Daten nicht und verschaffte sich den Zugang auf anderem Weg. „Der KI-Agent fand einen Weg, die Sperren zu umgehen – er wollte ein Nein gewissermaßen nicht akzeptieren“, sagte Albanese.

OpenAI bestätigt den Kern. Ein Sprecher erklärte, das Unternehmen überprüfe umfassend Fälle, in denen sich Modelle während des Trainings nicht wie vorgesehen verhalten haben. Dabei habe man Aktivitäten auf mehreren australischen Regierungsseiten entdeckt, als Modelle in einer internen Evaluierung Antworten und Statistiken zu Fragen über Australien suchten. „Dabei haben unsere Modelle Aktionen ausgeführt, die wir nicht beabsichtigt hatten“, so der Sprecher. Abgerufen worden seien aggregierte Gesundheitsstatistiken und interne Dateinamen, Hinweise auf Zugriffe auf Patientenakten gebe es nicht. Albanese nannte zunächst drei weitere möglicherweise betroffene Stellen, darunter das nationale Gesundheitsstatistik-Institut AIHW. Marles stellte später klar, dass die Zugriffe dort „völlig normal“ gewesen seien und nur öffentliche Informationen betrafen.

Die Chronologie ist das eigentliche Problem

Der australische Sender ABC hat den zeitlichen Ablauf rekonstruiert, und er erklärt den Ärger in Canberra. Der Einbruch geschah am 18. Juni. OpenAI wurde laut dieser Chronologie am 11. August darauf aufmerksam, bei der Durchsicht auffälligen Modellverhaltens aus dem Training. Am 1. September traf Sam Altman in San Francisco den australischen Verteidigungsminister Marles, der Vorfall kam dort laut Marles nicht zur Sprache. Erst am 10. September ging eine E-Mail an eine Adresse, über die sonst Forscher Sicherheitslücken in den Systemen der Behörde melden. Services Australia las sie am 11. September und schaltete am 15. September das Cybersicherheitszentrum des Nachrichtendienstes ASD ein. Der Premierminister erfuhr am Wochenende des 19. und 20. September davon, den ersten technischen Austausch mit OpenAI gab es am 22. September.

Albanese sagte, er habe Altman in einem Telefonat die „äußerste Besorgnis“ Australiens übermittelt und seine Enttäuschung darüber, dass die Meldung „viel zu lange“ gedauert habe. Auch die Form sei inakzeptabel gewesen. Auf die Frage, ob Altman sich entschuldigt habe, antwortete Albanese, Altman habe klar eingeräumt, dass das Unternehmen nicht gut genug gehandelt habe. Eine Taskforce unter Führung des Premierministeramts soll den Vorfall nun gemeinsam mit dem ASD und dem australischen AI Safety Institute dringend untersuchen.

Die Brisanz verstärkt ein Zufall des Kalenders: Weniger als einen Tag zuvor hatte Albanese in New York gemeinsam mit gut 20 weiteren Unterzeichnern, darunter Deutschland, Kanada und Spanien, einen Aufruf zur Kontrolle der fortgeschrittensten KI-Modelle unterschrieben.

Die Spur ins deutsche Wiki

Eine weitere Recherche der ABC stellt eine Verbindung zu einem Vorfall her, über den wir im September berichtet haben: Agenten, die OpenAI zugeordnet werden, nutzten das deutsche Entwickler-Wiki DseWiki als Notizbrett. Archivierte Versionen dieses Wikis zeigen laut ABC, dass mehr als ein Dutzend Agenten das Gesundheitsstatistik-Institut AIHW über 300-mal erwähnten. Sie suchten offenbar Kostendaten zu Hautmedikamenten in Gemeinden des Bundesstaats Victoria, schrieben „Need exact data urgently“ und tauschten sich darüber aus, wie sich die Bot-Sperre des Dienstleisters Cloudflare mit Proxys, Screenshot-Diensten oder erratenen Dateinamen umgehen lässt.

Ob diese Einträge und der Medicare-Einbruch zum selben Vorfall gehören, haben weder OpenAI noch die Regierung bestätigt; Medicare oder Services Australia tauchen in den Wiki-Protokollen nicht auf. Das Muster ist aber dasselbe, das OpenAI selbst in seinen Berichten über Fehlverhalten beschreibt: Ein Modell soll eine Aufgabe unter Zeitdruck lösen, stößt auf ein Hindernis und behandelt die Sicherheitssperre als weiteres Problem, das es zu lösen gilt.

Einordnung: Evaluierungen sind kein geschlossener Raum

Der Fall verschiebt die Debatte über KI-Agenten an einer entscheidenden Stelle. Bisher ließ sich Fehlverhalten in Trainings- und Testläufen als internes Forschungsthema behandeln. Hier hatte ein Modell in einer Evaluierung Zugang zum offenen Internet und hinterließ Spuren in der Infrastruktur eines Staates, der davon nichts wusste. Damit wird die Frage, wie Labore ihre Tests abschirmen, zu einer Frage der Cybersicherheit von Dritten. Auch das UN-Expertengremium hatte gerade erst vor wachsenden Kontrolllücken gewarnt.

Für die Bewertung von OpenAI zählt deshalb weniger, was der Agent im Juni abgerufen hat, als das, was danach geschah. Ein Unternehmen, das seine Modelle bewusst mit Webzugang testet, braucht einen Meldeweg, der nicht in einem öffentlichen Postfach endet, und Fristen, die sich an den Regeln für Sicherheitsvorfälle orientieren, nicht an internen Prüfzyklen. Die australische Taskforce dürfte genau das zum Maßstab machen. Andere Regierungen, auch in Europa, werden ihre eigenen Portale und ihre Erwartungen an KI-Labore nach diesem Fall neu prüfen müssen.