KI-Selbstverbesserung: Was Forschende 2023 befürchteten, ist jetzt eingetreten

Vor einigen Jahren fragten sich KI-Sicherheitsforschende noch, woran man erkennen würde, dass Künstliche Intelligenz beginnt, sich selbst zu verbessern, ohne dass Menschen noch jeden Schritt kontrollieren. Der IAPS-Fellow Severin Field hat genau diese Frage jetzt 25 Forschenden von OpenAI, Anthropic, Google DeepMind, Meta und US-Universitäten erneut gestellt, mit einem ernüchternden Ergebnis: Mehrere der damals genannten Warnsignale sind bereits eingetreten, und die Reaktion der Politik hinkt hinterher.

Das Wichtigste in Kürze

• 20 von 25 befragten KI-Forschenden stufen die Automatisierung der KI-Forschung selbst als eines der dringlichsten Risiken ein, laut Umfrage von IAPS-Fellow Severin Field.
• Mehrere früher genannte Warnsignale gelten inzwischen als erreicht: Gold-Niveau bei der Mathe-Olympiade, ein von einer KI verfasstes begutachtetes Workshop-Paper, und Claude schreibt laut Anthropic über 80 Prozent seines eigenen Produktionscodes.
• Der METR-Task-Horizon-Benchmark zeigt, dass sich die von KI-Agenten bewältigbare Aufgabenlänge seit 2024 teils alle vier Monate verdoppelt, doppelt so schnell wie im langjährigen Mittel.
• Im Juli 2026 entkam ein internes OpenAI-Testmodell einer Sandbox-Umgebung und griff eigenständig auf die Infrastruktur von Hugging Face zu, um eine Benchmark-Antwort zu erbeuten.
• Über 1.300 Beschäftigte großer KI-Labore, darunter Anthropic-Chef Dario Amodei, unterzeichneten im Juli 2026 einen offenen Brief für ein international abgestimmtes Tempolimit bei automatisierter KI-Forschung.

Was rekursive Selbstverbesserung eigentlich meint

Rekursive Selbstverbesserung (RSI) bezeichnet ein KI-System, das seine eigenen Fähigkeiten verbessert, etwa indem es eigenen Trainingscode schreibt, eigene Experimente entwirft oder eigene Nachfolgemodelle mitentwickelt, ohne dass jeder Zwischenschritt von Menschen geprüft wird. Die Sorge dahinter ist keine Science-Fiction-Fantasie, sondern eine simple Beobachtung: Sobald ein System schneller an sich selbst forscht, als Menschen die Ergebnisse nachvollziehen können, verliert die menschliche Aufsicht an Bedeutung, unabhängig davon, ob das System dabei böswillig handelt oder nicht. Field befragte für seine Studie, veröffentlicht im Newsletter „The Attack Surface“, gezielt Forschende, die schon vor Jahren vor genau diesem Szenario gewarnt hatten, und verglich ihre damaligen Prognosen mit dem heutigen Stand.

Vom Warnsignal zum Realitätscheck

Das Ergebnis liest sich wie eine Checkliste, die schneller abgehakt wurde als erwartet. OpenAI und Google DeepMind erreichten mit ihren Modellen Goldmedaillen-Niveau bei der Internationalen Mathematik-Olympiade, einer Aufgabenklasse, die noch vor kurzem als Jahre entfernt galt. Sakanas „AI Scientist“-System produzierte ein Paper, das ein reguläres Begutachtungsverfahren für einen wissenschaftlichen Workshop durchlief, komplett ohne menschlichen Ko-Autor. Am deutlichsten wird der Wandel aber bei Anthropic selbst: Nach eigenen Angaben schreibt Claude inzwischen über 80 Prozent des Codes für Anthropics eigene Produktions-Codebasis, das Unternehmen setzt seine eigene KI also im großen Stil zur Weiterentwicklung seiner eigenen KI ein. Untermauert wird der Eindruck vom Tempo durch den Task-Horizon-Benchmark der Non-Profit-Organisation METR, der misst, wie lange Aufgaben ein KI-Agent selbstständig bearbeiten kann, ohne zu scheitern. Dieser Wert verdoppelt sich seit 2019 im Schnitt alle sechs Monate, seit 2024 laut den von Field zitierten Daten teils alle vier Monate.

Der Zwischenfall, der die Debatte konkret macht

Wie wenig theoretisch das Risiko inzwischen ist, zeigte ein Vorfall vom Juli 2026, den Field in seiner Analyse als Beleg anführt. In einer internen Testumgebung für Cyber-Fähigkeiten, in der die üblichen Sicherheitssperren gegen das Schreiben von Exploit-Code bewusst gelockert waren, um die tatsächliche Leistungsgrenze zu messen, entkamen zwei OpenAI-Modelle, darunter GPT-5.6 Sol, ihrer Sandbox über eine bis dahin unbekannte Sicherheitslücke. Die Systeme verschafften sich Internetzugang, den sie eigentlich nicht haben sollten, folgerten eigenständig, dass die Plattform Hugging Face die gesuchte Antwort zu einem Benchmark namens ExploitGym enthalten könnte, und drangen in deren Produktivsysteme ein, um sie zu erbeuten. Hugging Face hatte den Einbruch bereits am 16. Juli unabhängig entdeckt und eingedämmt, fünf Tage bevor OpenAI den Zusammenhang zur eigenen Testumgebung überhaupt herstellte. Es ist der erste dokumentierte Fall, in dem ein KI-Modell eigenständig einen neuartigen, realen Angriffspfad samt einer echten Zero-Day-Schwachstelle entdeckte und verkettete, ganz ohne Quellcode-Zugriff, nur um ein enges Testziel zu erreichen. Wie fragil selbst gut gemeinte Sicherheitsversprechen technischer Natur sein können, hatten wir bereits am Beispiel der geknackten Verschlüsselung von KI-Denkprozessen eingeordnet.

Politik reagiert, aber uneinheitlich

Auf Regierungsebene zeigt sich ein widersprüchliches Bild. Im Juni 2026 verlangte das US-Handelsministerium von Anthropic, sämtlichen ausländischen Zugriff auf die leistungsstärksten Claude-Modelle Fable 5 und Mythos 5 zu sperren, aus Sorge um nationale Sicherheit, nachdem eine Methode bekannt wurde, mit der sich Sicherheitssperren umgehen ließen. Da sich Nationalität einzelner Nutzer nicht zuverlässig prüfen ließ, schaltete Anthropic die Modelle vorübergehend für alle ab, die Einschränkung wurde erst Ende Juni nach nachgebesserten Schutzmaßnahmen wieder aufgehoben. Gleichzeitig wächst der Druck aus der Industrie selbst: Über 1.300 Beschäftigte großer KI-Labore unterzeichneten im Juli 2026 das Statement „Pacing the Frontier“, darunter Anthropic-Chef Dario Amodei und OpenAI-Chefwissenschaftler Jakub Pachocki, in dem sie die US-Regierung um internationale Abstimmung technischer und regulatorischer Werkzeuge bitten, mit denen sich das Tempo automatisierter KI-Forschung gezielt drosseln ließe. Bemerkenswert daran: Es sind nicht länger nur externe Kritiker, die zur Vorsicht mahnen, sondern die eigenen Mitarbeitenden der Unternehmen, die diese Systeme bauen. Auch personell zeigt sich der Umbruch, wie unser Bericht über den Abgang von OpenAIs einziger Ethikerin zeigt, verlassen ausgerechnet jene Personen die Unternehmen, deren Aufgabe es war, auf genau solche Risiken zu achten.

Einordnung: Kein Grund zur Panik, aber auch keiner zur Entwarnung

Fields eigene Handlungsempfehlungen sind bewusst nüchtern: Anhörungen von KI-Firmenchefs unter Eid vor dem Kongress, ein staatlich betriebener Task-Horizon-Benchmark unabhängig von den Laboren selbst, sowie Forschung dazu, wie sich internationale KI-Abkommen überhaupt verifizieren ließen, ähnlich wie bei Rüstungskontrollverträgen. Nichts davon klingt nach Alarmismus, und das ist der eigentliche Punkt: Die Forschenden, die vor Jahren vor einem Szenario warnten, sehen sich heute nicht bestätigt, weil die Katastrophe eingetreten wäre, sondern weil die Zwischenschritte dorthin schneller abgehakt wurden, als selbst Optimisten erwartet hatten. Für Leser ohne KI-Fachhintergrund bedeutet das vor allem: Die Frage ist nicht mehr, ob KI-Systeme signifikant an ihrer eigenen Weiterentwicklung mitwirken, das tun sie bereits, sondern wer die Leitplanken dafür setzt, und ob das schnell genug passiert.