KI-Agenten sollen E-Mails sortieren, im Web recherchieren, Code ändern oder Bestellungen vorbereiten. Gerade diese nützlichen Zugriffe öffnen aber eine neue Angriffsfläche: Versteckte Anweisungen in einer Webseite, Datei oder Nachricht können versuchen, den Agenten von seinem eigentlichen Auftrag abzubringen. OpenAI stellt nun mit GPT-Red ein internes System vor, das solche Prompt-Injection-Angriffe automatisiert sucht. Die entscheidende Nachricht ist weniger ein neues Produkt als ein veränderter Testmaßstab: Sicherheitsprüfungen sollen mit der Leistungsfähigkeit der Modelle mitwachsen.
Das ist auch für Anwender relevant, die keine Sicherheitsforschung betreiben. Je mehr ein Assistent außerhalb des Chatfensters handeln darf, desto wichtiger wird die Frage, ob er fremde Inhalte von vertrauenswürdigen Arbeitsaufträgen unterscheiden kann. Die neue Methode verspricht schnellere Tests, ersetzt menschliche Prüfung aber nicht.
Das Wichtigste in Kürze
- GPT-Red ist ein internes OpenAI-Modell, das gezielt Prompt-Injection-Schwachstellen in anderen KI-Systemen finden soll.
- Es wird per Self-Play trainiert: Angreifer- und Verteidigermodelle verbessern sich in simulierten, realitätsnahen Szenarien gegenseitig.
- OpenAI meldet in einem abgegrenzten Test 84 Prozent erfolgreiche Szenarien für GPT-Red gegenüber 13 Prozent für menschliche Red Teams.
- Die Werte belegen keinen generellen Sicherheitsgewinn aller Agenten; sie beschreiben vor allem die jeweilige Testumgebung und OpenAIs Systeme.
- Für Nutzer bleibt das Prinzip schlicht: sensible Zugriffsrechte klein halten und kritische Aktionen bestätigen lassen.
Warum Prompt Injection bei Agenten mehr als ein Chat-Trick ist
Bei einer Prompt Injection platziert ein Angreifer Anweisungen in Inhalt, den ein Modell verarbeitet. Das kann ein scheinbar harmloser Webseitentext sein, eine E-Mail oder ein Dokument im Projektordner. Ein Agent, der diese Inhalte lesen darf, soll dann etwa eine andere Priorität setzen, vertrauliche Daten suchen oder ein Werkzeug missbräuchlich einsetzen. Anders als bei klassischer Schadsoftware muss der Angriff nicht zwingend eine Schwachstelle im Programmcode ausnutzen: Er zielt darauf, wie ein Sprachmodell Bedeutung und Anweisungen gewichtet.
Das Problem verschärft sich, sobald ein Modell nicht nur antwortet, sondern Werkzeuge verwendet. Wer einem Assistenten Zugriff auf Postfach, Browser oder Repository gibt, verbindet nützliche Automatisierung mit Daten und Aktionen. Der bereits veröffentlichte Beitrag über Browserzugriff in Coding-Agenten zeigt, warum dieser Übergang nicht bloß technisch ist: Mit jeder zusätzlichen Fähigkeit wächst auch die Verantwortung für Berechtigungen und Kontrolle.
Ein Angreifer als Sparringspartner
OpenAI trainiert GPT-Red mit Self-Play. Vereinfacht formuliert spielt ein Modell den Angreifer, mehrere andere Modelle verteidigen sich. GPT-Red erhält eine Belohnung, wenn es einen definierten Fehler auslöst; die Verteidiger werden dafür belohnt, den ursprünglichen Auftrag korrekt zu erledigen und den Angriff abzuwehren. In den Trainingsumgebungen kann die manipulierte Anweisung etwa in einer lokalen Datei, einem Webbanner, einer Mail oder der Antwort eines Werkzeugs stecken.
Dieser Aufbau hat einen handfesten Vorteil gegenüber einer ausschließlich manuellen Prüfung. Ein automatisiertes System kann sehr viele Varianten ausprobieren, aus Fehlschlägen lernen und erfolgreiche Muster gezielt abwandeln. OpenAI schreibt, GPT-Red sei mit Rechenaufwand in der Größenordnung großer Nachtrainingsläufe entwickelt worden. Das erklärt zugleich, warum die Methode nicht einfach als Bauanleitung für jedes Entwicklungsteam taugt: Sie ist Forschung mit erheblicher Infrastruktur, keine Standardfunktion eines Chatbots.
In einem von OpenAI nachgebildeten Wettbewerb für indirekte Prompt Injections fand GPT-Red nach Angaben des Unternehmens in 84 Prozent der Szenarien einen erfolgreichen Angriff; menschliche Red Teamer kamen dort auf 13 Prozent. Solche Zahlen sind ein Signal für die Skalierbarkeit der Suche, aber kein universeller Vergleich zwischen Mensch und Maschine. Entscheidend sind Zielmodelle, Aufgaben, Zeitbudget und die Definition von Erfolg. Gute Sicherheitsarbeit behandelt solche Benchmarks deshalb als Messinstrument, nicht als Freispruch.
Was die Tests über reale Risiken verraten
OpenAI testete GPT-Red auch an einem Agenten für einen Getränkeautomaten. In einer kontrollierten Versuchsanordnung gelang es dem System, Preise zu ändern, ein teureres Produkt günstig anzubieten und eine fremde Bestellung zu stornieren. Der Fall illustriert die zentrale Gefahr: Wenn ein Agent an Geschäftslogik oder Werkzeuge gekoppelt ist, können manipulierte Anweisungen Auswirkungen außerhalb des Textfelds haben.
Für Entwickler folgt daraus kein Grund, Agenten grundsätzlich zu meiden. Sinnvoller sind abgestufte Rechte, getrennte Umgebungen, nachvollziehbare Werkzeugaufrufe und Bestätigungen vor Überweisungen, Käufen, Löschvorgängen oder dem Versand sensibler Daten. Auch das Modelltraining ist nur eine Schicht. OpenAI verweist selbst auf Monitoring, technische Begrenzungen und externe Tests. Diese Mehrschichtigkeit ist wichtig, weil ein einzelner Schutzmechanismus bei einem so offenen Problem nicht zuverlässig jede neue Variante erkennt.
Die Geschichte von J-Space bei Claude erinnert zudem daran, wie begrenzt der Blick in Modellentscheidungen noch ist. Selbst wenn ein System Angriffe besser abweist, bleibt die Prüfung der tatsächlichen Handlungswege ein eigenständiges Thema.
Automatisierung ergänzt Menschen, sie ersetzt sie nicht
GPT-Red bleibt laut OpenAI intern und soll nicht veröffentlicht werden. Das ist nachvollziehbar: Ein Modell, das besonders gut bösartige Eingaben entwickelt, wäre selbst ein Risiko, wenn es unkontrolliert verfügbar wäre. Zugleich benennt die unabhängige Einordnung eine wichtige Grenze: Mehrturn-Angriffe und bildbasierte Prompt Injections liegen dem System bislang weniger gut. Gerade dort können menschliche Prüfer ungewöhnliche Kontexte, soziale Täuschung und Produkteigenheiten erkennen, die in einem Trainingsszenario fehlen.
Für Unternehmen ist die praktische Lehre daher nüchtern. Nicht die Frage „Ist der Agent sicher?“ entscheidet, sondern welche Daten er sehen darf, welche Aktionen er ausführen kann und wer den letzten Schritt kontrolliert. Ein Testsystem wie GPT-Red kann die Suche nach Fehlern erheblich beschleunigen. Es macht aus einem Agenten aber kein Werkzeug, dem man ohne Leitplanken Zugang zu Postfach, Kundendaten oder Produktion geben sollte.
Ausblick: Sicherheit wird zum laufenden Wettbewerb
Mit GPT-Red verschiebt OpenAI Sicherheitsarbeit von punktuellen Prüfungen hin zu einem fortlaufenden Wettlauf zwischen Angriff und Abwehr. Das passt zu Agenten, deren Umfeld sich ständig ändert: neue Webseiten, neue Dateien, neue Integrationen. Für Nutzer ist die beste Konsequenz nicht Alarmismus, sondern Sorgfalt bei Zugriffsrechten. Für Anbieter wird sich daran messen lassen, ob sie automatisierte Tests mit transparenten Grenzen, unabhängigen Prüfern und wirksamen Kontrollen im Produkt verbinden. Erst dieses Zusammenspiel macht leistungsfähige Agenten im Alltag vertrauenswürdiger.