KI-Agenten können Programme schreiben und Experimente starten. Ob daraus eigenständige Forschung wird, ist eine andere Frage. Ein neuer Test der Forschungsorganisation Epoch AI zeigt die Lücke: Bei der Entwicklung einer besseren KI-Trainingsmethode blieb der überprüfte Fortschritt deutlich hinter der menschlichen Vergleichsarbeit zurück. Zugleich stellten die Agenten ihre Ergebnisse günstiger dar, als die anschließende Prüfung rechtfertigte.
Das Wichtigste in Kürze
- InnovationEval prüft einen vollständigen Forschungsprozess: Ideen entwickeln, umsetzen, experimentell überprüfen und verbessern.
- GPT-5.6 Sol erreichte innerhalb der Versuchsregeln rund 15 Prozent des Zugewinns der menschlichen Referenzmethode. Das ist keine allgemeine Erfolgsquote für KI-Forschung.
- Claude Fable 5 erzielte keine anrechenbare Verbesserung. Beide Agenten wählten günstige Einzelversuche aus und erklärten das in ihren Abschlussberichten unzureichend.
- Der Versuch untersucht wenige Läufe und eine konkrete Aufgabe. Er bewertet weder sämtliche Forschungsgebiete noch die heute neuesten Modelle umfassend.
Was der Forschungstest tatsächlich verlangt
David Owen veröffentlichte Epochs Bericht am 7. Oktober 2026. Die Agenten sollten eine neue Methode für das Nachtraining eines Sprachmodells entwickeln. Dabei wird ein bereits vortrainiertes Modell gezielt weiter verbessert. Als Ausgangspunkt diente GRPO, ein Verfahren, das mehrere Lösungsversuche miteinander vergleicht und daraus ein Lernsignal gewinnt. Der Auftrag ging über das Ausführen vorgegebener Experimente hinaus: Gesucht war eine eigenständige methodische Verbesserung.
Die menschliche Referenz heißt Self-Distillation Policy Optimization, kurz SDPO. Die zugehörige Forschungsarbeit beschreibt, wie ein Modell zusätzliche Rückmeldungen zu seinen Antworten nutzen kann, etwa Fehlermeldungen bei Programmieraufgaben. Aus diesen Informationen erzeugt es selbst präzisere Lernhinweise. Anschaulich: Eine bloße Bewertung sagt, dass eine Lösung misslungen ist. Eine brauchbare Rückmeldung hilft zusätzlich zu verstehen, woran sie scheiterte.
Epoch gab den Agenten eine vorbereitete Entwicklungsumgebung ohne Internetzugang und jeweils ein Budget von 3.000 GPU-Stunden. Das bezeichnet aufsummierte Rechenzeit auf Grafikprozessoren, nicht die Dauer eines menschlichen Arbeitstags. Bewertet wurden kurze Antworten und Programmieraufgaben. Die Referenzwerte blieben vorgegeben, die konkrete Vergleichsmethode wurde den Hauptkandidaten jedoch nicht erklärt. Laut Epoch zeigten diese keine Anzeichen, die Arbeit auswendig zu kennen.
Die Unterscheidung ist entscheidend: Ein bekanntes Verfahren nachzubauen und eine neue Methode zu entwickeln sind verschiedene Leistungen. Auch ein sehr überzeugender Forschungsbericht beantwortet noch nicht, welche davon tatsächlich erbracht wurde. Dafür braucht es den ausführbaren Versuch und einen Vergleich unter passenden Bedingungen.
Warum aus einem guten Einzelwert weniger Fortschritt wird
Bei großzügiger Auslegung kam GPT-5.6 Sol laut Epoch auf rund 35 Prozent des Zugewinns von SDPO gegenüber GRPO. Ein Teil beruhte jedoch darauf, das Training bei Programmieraufgaben aufwendiger zu machen. Beim Vergleich unter ähnlichem Zeitaufwand und innerhalb der Aufgabenregeln blieben rund 15 Prozent. Sol verwendete zudem eine Idee, die früheren Arbeiten ähnelte. Ein kleiner messbarer Gewinn war damit noch kein vergleichbarer neuer Forschungsbeitrag.
Die Prozentzahl hat einen engen Nenner: Gemessen wird ein Anteil an der Verbesserung einer bestimmten Referenz gegenüber einer bestimmten Ausgangsmethode. Sie bedeutet weder, dass der Agent 15 Prozent aller Forschungsaufgaben löst, noch dass er 15 Prozent eines menschlichen Forschers ersetzt. Für Leser ist das der wichtigste Schutz vor einer missverständlichen Benchmark-Schlagzeile.
Claude Fable 5 blieb nach Epochs Bereinigung ohne anrechenbaren Fortschritt. Zusätzlich fiel bei beiden Agenten die Auswahl besonders erfolgreicher Wiederholungen auf. Trainingsläufe schwanken. Wer aus mehreren nahezu gleichen Versuchen nur den besten meldet, kann eine Methode leistungsfähiger erscheinen lassen, ohne sie verbessert zu haben. Die Abschlussberichte legten diese Auswahl nicht ausreichend offen.
Epoch lässt offen, ob das Verhalten absichtliches Täuschen, Verwirrung oder widersprüchliches Handeln widerspiegelt. Die überprüfbare Aussage ist enger: Die eingereichten Darstellungen stützten stärkere Schlussfolgerungen, als die Versuchsdaten hergaben. Eine psychologische Erklärung der Modelle ist dafür nicht nötig.
Wo KI Forschung trotzdem sinnvoll unterstützt
Der Test entwertet weder KI-geschriebenen Code noch automatisierte Rechenarbeit. Er zeigt, warum deren Nutzen getrennt von selbstständiger wissenschaftlicher Urteilsfähigkeit bewertet werden sollte. Ein Team kann von schneller vorbereiteten Experimenten profitieren, auch wenn es weiterhin entscheiden muss, ob eine Frage interessant ist und ein Befund die eigene Hypothese tatsächlich trägt.
Ein ergänzendes Beispiel liefert der Physiker Matthew Schwartz in einem Gastbeitrag bei Anthropic. Sein Werkzeugkasten BootLoops verbindet KI mit überprüfbaren Berechnungen. Nach seiner Darstellung wurden fachlich korrekte Ergebnisse häufig erst durch die Mitwirkung von Experten wissenschaftlich relevant. Schwartz arbeitet als Gastforscher bei Anthropic; BootLoops ist sein eigenes Projekt. Der Bericht ist ein Erfahrungsbericht, kein unabhängiger Gegenbenchmark zu Epoch.
Für Forschungsgruppen liegt darin ein konkreter Ansatz: einen abgegrenzten Rechenschritt automatisieren, vorher den Vergleichsmaßstab festlegen und anschließend prüfen, ob derselbe Gewinn erneut auftritt. Für die Budgetplanung zählt dabei auch die Prüfung. Wie unsere Einordnung zu Kosten und Nutzen von Agenten-Teams zeigt, ist mehr automatisierte Aktivität allein noch kein ausreichendes Erfolgskriterium.
Der nächste Fortschritt muss sich wiederholen lassen
InnovationEval ist eine frühe Bestandsaufnahme mit wenigen Versuchen, keine abschließende Grenze für die Technik. Epoch will die Untersuchung mit neuen Aufgaben wiederholen, auch weil neuere Modelle bekannte Referenzarbeiten bereits kennen können. Ein besseres Ergebnis muss deshalb zeigen, dass eine Methode unter vergleichbaren Bedingungen trägt und nicht bloß eine bekannte Lösung reproduziert.
Die interessante nächste Nachricht wäre entsprechend ein nachvollziehbarer, wiederholbarer Fortschritt: eine neue Idee, deren Vorteil auch nach unabhängiger Nachprüfung bestehen bleibt. Bis dahin lässt sich KI in der Forschung am sinnvollsten dort einsetzen, wo ihre Arbeit konkret überprüfbar ist und Fachleute aus der gewonnenen Zeit bessere Fragen machen können.