Anthropic und OpenAI wecken seit Monaten Erwartungen, ihre Modelle stünden kurz davor, KI-Forschung eigenständig voranzutreiben. Eine neue Studie von Princeton und dem UK AI Security Institute hat diese Behauptung nun mit einem ungewöhnlich strengen Test konfrontiert: echte, noch unveröffentlichte Forschungsfragen, bewertet von genau den Fachleuten, die sie gestellt haben. Das Ergebnis fällt deutlich nüchterner aus als die Ankündigungen der beiden Labore.
Das Wichtigste in Kürze
- Princeton und das UK AI Security Institute testeten Claude Opus 4.8 und GPT-5.6 Sol an zwei unveröffentlichten NeurIPS-2026-Einreichungen.
- Die Methode heißt „Shadow Evaluation“: Agenten bearbeiten die zentrale Forschungsfrage, die Originalautoren bewerten das Ergebnis wie Konferenz-Gutachter.
- Beide Agenten-Papers wurden klar abgelehnt, eines mit „Strong Reject“, eines mit „Reject“.
- Die Agenten lösen Ingenieursaufgaben zuverlässig, scheitern aber an Urteilskraft, Kreativität und Ressourcenmanagement.
- Das widerspricht öffentlichen Aussagen von Anthropic und OpenAI zur nahenden Forschungsautonomie ihrer Modelle.
Der Testaufbau: echte Fragen, echte Gutachter
Bisherige Benchmarks für KI-Forschungsfähigkeiten haben ein Grundproblem: Sie messen meist Aufgaben mit bekannter, überprüfbarer Lösung. Ob ein Agent auch mit offenen, unklaren Forschungsfragen umgehen kann, blieb unklar. Die Autoren um Peter Kirgis lösten das mit der „Shadow Evaluation“: Zwei Teams hatten gerade Papers für die NeurIPS 2026 eingereicht, deren Ergebnis noch nicht öffentlich war. Ein KI-Agent bekam exakt dieselbe Ausgangsfrage vorgelegt, mit sechs Tagen Zeit, 3.000 US-Dollar API-Budget, GPU-Zugang und virtuellen Maschinen, aber ohne Zugriff auf die Trainingsdaten oder das Originalpaper. Anschließend bewerteten die echten Autoren die Agenten-Ergebnisse wie Gutachter auf einer Fachkonferenz, ohne zu wissen, dass eine KI sie geschrieben hatte.
Die untersuchten Themen waren technisch anspruchsvoll: Im einen Fall ging es darum, Persönlichkeitsmerkmale von Sprachmodellen direkt über ihre Gewichte zu steuern, im anderen um TabPFN, ein Verfahren zur Erkennung von Datenabweichungen bei Vorhersagemodellen. Beide Agenten-Einreichungen fielen durch. Ein Gutachter kritisierte schlecht motivierte Experimente und unleserliche Prosa, ein anderer bezeichnete die Argumentation als Musterbeispiel für einen „Proof by Example“-Fehlschluss, den er als hochgradig unwissenschaftlich einstufte.
Wo die Agenten scheitern
Auffällig ist, wie ungleich die Fähigkeiten verteilt sind. Reine Ingenieursarbeit, Code schreiben, Experimente aufsetzen, Infrastruktur bedienen, meisterten beide Agenten fast vollständig und benötigten dafür nur drei menschliche Eingriffe. Ein nennenswertes Reward-Hacking, also das Ausnutzen von Bewertungslücken statt echter Problemlösung, stellten die Forschenden nicht fest. Das Scheitern begann erst dort, wo Forschung Urteilsvermögen statt Ausführung verlangt. Die Studie benennt fünf wiederkehrende Fehlermuster: mangelndes Gespür dafür, was überhaupt publikationswürdig ist, fehlende kreative Auswege bei widerlegten Hypothesen, unwirksames Zurückrudern aus Sackgassen, schwaches Bewusstsein für das eigene Zeit- und Geldbudget sowie ein allmähliches Vergessen der ursprünglichen Anweisungen im Projektverlauf.
Die Budgetzahlen machen das Problem greifbar: Der Claude-Opus-Agent verbrauchte in seinem ambitioniertesten Lauf nur rund 1.130 der verfügbaren 3.000 Dollar und beendete die anspruchsvollste Zielsetzung bereits nach fünf bis zehn Stunden, statt die eingeplanten 36 bis 48 Stunden für offene Exploration zu nutzen. GPT-5.6 Sol ging den gegenteiligen Weg und hatte sein komplettes Budget schon nach zwei Tagen aufgebraucht. Beide Strategien führten zum selben Resultat: einer Ablehnung. Das deckt sich mit der wachsenden Debatte um KI-Selbstverbesserung, vor der Forschende schon 2023 gewarnt hatten: Die reine Fähigkeit, Code zu schreiben und Experimente zu automatisieren, ist längst da. Was fehlt, ist die Fähigkeit, selbst zu entscheiden, welche Fragen es überhaupt wert sind, verfolgt zu werden.
Was das für Anthropics und OpenAIs Versprechen bedeutet
Die Studie trifft einen wunden Punkt, weil beide Labore in den vergangenen Monaten genau das Gegenteil suggeriert haben. Anthropic veröffentlichte im Juni einen Blogbeitrag mit dem Titel „When AI Builds Itself“ und präsentierte darin Daten zur angeblich beschleunigten eigenen Forschung durch KI-Agenten. OpenAI wiederum warb damit, GPT-5.6 Sol habe beim Post-Training eines kleineren Modells geholfen und Forschenden dadurch mehrere Wochen Arbeit erspart, eine Behauptung, die in der 81-seitigen technischen Systemcard des Modells auffällig fehlt. Die Studienautoren formulieren die Diskrepanz vorsichtig, aber klar: Frontier-Modelle bewältigen die Ingenieursseite von KI-Forschung, mit wochenlangen, offenen Forschungsfragen kämpfen sie dagegen weiterhin. Der Google-DeepMind-Forscher Tom Zahavy hatte in einem eigenen Positionspapier mit dem Titel „LLMs can’t jump“ bereits argumentiert, dass Sprachmodellen schlicht der kognitive Mechanismus fehle, um wirklich neue Ideen zu erzeugen, statt vorhandene nur neu zu kombinieren. Die Shadow-Evaluation-Ergebnisse liefern dafür nun greifbare Evidenz aus der Praxis.
Fazit: Der Ingenieurs-Graben ist zu, der Urteils-Graben nicht
Für Leser, die die Debatte um eine nahende KI-Forschungsautonomie verfolgen, liefert die Studie eine nützliche Unterscheidung: Es gibt nicht die eine Frage „Kann KI forschen?“, sondern mindestens zwei getrennte Fähigkeiten, technische Umsetzung und wissenschaftliches Urteilsvermögen, die sich offenbar sehr unterschiedlich entwickeln. Die erste Lücke ist nach dieser Untersuchung weitgehend geschlossen, die zweite klafft noch deutlich auseinander. Die Autoren betonen selbst, dass ihre Stichprobe mit zwei Fällen klein ist und weitere Shadow Evaluations nötig sind, um die Befunde zu erhärten. Trotzdem setzt die Arbeit einen wichtigen Kontrapunkt zu Marketing-Aussagen, die den Unterschied zwischen automatisierter Ausführung und echter Forschungsleistung gern verwischen.