KI-Agenten können offenbar einen beträchtlichen Teil anspruchsvoller physikalischer Rechenarbeit übernehmen. Im Benchmark TheoPhysEval erreichte GPT-6-Astra in Codex nach Angaben des Forschungsteams richtige Endergebnisse bei 49 von 50 Aufgaben. Die am 9. Oktober auf arXiv veröffentlichte und nun in der Fachberichterstattung aufgegriffene Arbeit zeigt damit eine konkrete Anwendungsmöglichkeit: Unterstützung bei genau formulierten Rechnungen aus der theoretischen Physik.
Das Wichtigste in Kürze
- TheoPhysEval enthält 50 zum Testzeitpunkt unveröffentlichte Aufgaben mit überprüfbaren Antworten. Große ungelöste Grundsatzfragen gehören ausdrücklich nicht dazu.
- GPT-6-Astra in Codex löste mit Webzugang 49 Aufgaben; Opus 5.5 in Claude Code kam auf 46.
- Die Auswertung prüft hauptsächlich numerische Endantworten. Sie bescheinigt damit nicht automatisch die Qualität jedes Herleitungsschritts.
- Die Testläufe lassen sich grundsätzlich nachstellen. Der Datensatz verlangt jedoch eine Zugangsanfrage, und jeder Agent wurde pro Testvariante nur einmal ausgewertet.
Was die Aufgaben für Forschungsarbeit interessant macht
Ein KI-Agent ist in diesem Zusammenhang die Verbindung aus einem Sprachmodell und einer Arbeitsumgebung mit Werkzeugen. Statt nur eine Antwort zu formulieren, kann er Literatur suchen, Programme schreiben und Rechnungen ausführen. Das macht einen Unterschied, wenn eine Aufgabe sowohl physikalisches Verständnis als auch numerische Arbeit verlangt.
Die Sammlung richtet sich an solche abgegrenzten Arbeitsschritte. Wer etwa eine bekannte Rechnung unter veränderten Voraussetzungen erneut durchführen muss, braucht nicht zwingend eine neue Theorie. Er muss aber die Voraussetzungen verstehen und die Rechnung korrekt anpassen. Genau diese Art Arbeit kann in einem Forschungsprojekt aufwendig sein, obwohl die übergeordnete Fragestellung längst feststeht.
Für eine Arbeitsgruppe wäre deshalb schon eine verlässliche Unterstützung auf dieser Ebene wertvoll. Sie könnte mehr Varianten einer Rechnung untersuchen oder eine zweite Umsetzung zum Vergleich erstellen. Das ist unsere praktische Folgerung aus dem Testaufbau, keine im Benchmark gemessene Produktivitätssteigerung. Ob ein Agent diese Rolle im eigenen Fachgebiet erfüllt, müsste an dessen Aufgaben geprüft werden.
Der Unterschied zwischen einer gelungenen Teilaufgabe und einem wissenschaftlichen Beitrag ist auch bei der Bewertung von KI-Forschungsberichten entscheidend. Hier ist das Ziel enger und dadurch leichter zu kontrollieren: Eine festgelegte Aufgabe soll ein überprüfbares Resultat liefern.
Wie man die Trefferquote und die Kosten lesen sollte
Die Studie vergleicht eine realistische Testvariante mit Internetzugang und eine isolierte Variante mit lokalen Rechenwerkzeugen. Ohne Webzugang erreichten Astra und Opus jeweils 46 richtige Antworten. Das Forschungsteam sieht darin einen Hinweis auf umfangreich gespeichertes Literaturwissen. Wie viel Wissen aus dem Training stammt, lässt sich aus diesem Vergleich allein allerdings nicht sauber auf einzelne Quellen zurückführen.
Bei der Spitzenquote von 98 Prozent handelt es sich um das Ergebnis dieses konkreten Aufbaus. Unterschiedliche Aufgaben, andere Werkzeuge oder ein erneuter Durchlauf können andere Werte liefern. Der Abstand von wenigen gelösten Aufgaben ist daher kein allgemeiner Qualitätsabstand zwischen den Produkten. Vor allem sollten Anwender Modell und Arbeitsumgebung zusammen betrachten, weil beide das Ergebnis beeinflussen.
Die Kostentabelle nennt für Astras gesamten realistischen Durchlauf 116,28 US-Dollar. Grundlage sind verbrauchte Tokens und API-Tarife. Auf die 50 gestellten Aufgaben verteilt ergibt das rechnerisch rund 2,33 Dollar je Aufgabe; es ist kein Preis für beliebige Physikforschung. Betreuung, Rechnerbetrieb und wissenschaftliche Prüfung lassen sich aus dieser Tokenabrechnung nicht als vollständige Projektkosten ablesen.
Die Zahl macht dennoch einen Versuch mit überschaubarem Umfang plausibel. Eine Gruppe muss für einen ersten Vergleich nicht gleich ihre gesamte Arbeit umstellen. Sie kann wenige bekannte Rechnungen auswählen, die Kosten getrennt erfassen und prüfen, ob die zusätzliche Umsetzung tatsächlich Zeit spart. Erst eine solche Beobachtung verbindet den niedrigen Modellpreis mit einem Nutzen im Forschungsalltag.
Endergebnis, Herleitung und Prüfmaßstab auseinanderhalten
Die Forschenden wandelten auch symbolische Ausdrücke in numerisch prüfbare Antworten um. Das erleichtert einen eindeutigen Vergleich und vermeidet einen zusätzlichen Sprachmodell-Gutachter. Ein richtiges Endergebnis beantwortet jedoch eine engere Frage als eine vollständig geprüfte Herleitung. Für jemanden, der aus der Lösung weiterarbeiten möchte, bleiben Annahmen, Zwischenschritte und Gültigkeitsbereich relevant.
Hinzu kommt ein aufschlussreicher Befund: Bei mehreren zunächst beanstandeten Astra-Antworten fanden die Autoren nach erneuter Prüfung Fehler in den eigenen Referenzlösungen. Nach deren Korrektur erwiesen sich die Agentenantworten als richtig. Das spricht für eine zusätzliche Perspektive durch KI, zugleich aber auch dafür, den Prüfmaßstab selbst überprüfbar zu halten.
Für das Nachstellen bietet die Datensatzseite Aufgabenpakete mit Anweisungen, Docker-Umgebung, Konfiguration und Prüfroutine. Die Anleitung setzt Python ab Version 3.12 sowie Docker voraus und verwendet Harbor für die Ausführung. Der Zugang zu den Dateien erfordert eine Anfrage und anschließende Freigabe. Das ist ein dokumentierter Forschungsaufbau, kein sofort nutzbarer Chat-Test ohne Vorbereitung.
Wer ihn wiederholt, sollte sowohl richtige als auch falsche Antworten samt Rechenwegen aufheben. Besonders lehrreich sind Fälle, in denen eine bekannte Formel auf veränderte Bedingungen übertragen werden muss. Dort lässt sich beobachten, ob das System die Änderung verarbeitet oder lediglich einen vertrauten Lösungsweg fortsetzt.
Der nächste Nutzen liegt zwischen Idee und fertigem Ergebnis
TheoPhysEval liefert einen ermutigenden Befund für präzise abgegrenzte wissenschaftliche Assistenz. Die Studie misst allerdings weder die selbstständige Auswahl bedeutender Forschungsfragen noch einen gleich großen Fortschritt über sämtliche Teilgebiete hinweg. Auch der Begriff „unveröffentlicht“ bedeutet nicht, dass sämtliche zugrunde liegenden Methoden neu oder Einflüsse früherer KI-Nutzung ausgeschlossen wären.
Der naheliegende nächste Schritt ist deshalb ein fachlich passender Vergleich an echten Teilaufgaben. Wenn ein Agent eine unabhängige Rechnung liefert, eine Variante zugänglich macht oder einen Widerspruch in der Referenz aufdeckt, entsteht bereits wissenschaftlicher Nutzen. Für diesen Fortschritt braucht es keine Behauptung, die nächste grundlegende Theorie werde nun automatisch gefunden.