Warum Standard-Benchmarks die Fähigkeiten von KI-Agenten unterschätzen

Wie gut ist ein KI-Agent wirklich? Die Antwort hängt einer neuen Untersuchung zufolge von einer Zahl ab, die in den meisten Testberichten gar nicht auftaucht: dem Rechenbudget. Das britische AI Security Institute (AISI) hat gezeigt, dass viele gängige Benchmarks die Fähigkeiten aktueller KI-Systeme systematisch unterschätzen – schlicht weil ihnen zu wenig Rechenzeit zugestanden wird, um lange Aufgaben zu Ende zu bringen.

Die Studie ist deshalb bemerkenswert, weil sie nicht behauptet, dass Modelle heimlich leistungsfähiger seien, als bekannt. Sie zeigt vielmehr eine methodische Lücke in der Art, wie KI-Fähigkeiten gemessen werden – mit Folgen weit über akademische Ranglisten hinaus, etwa für Sicherheitsbewertungen und Regulierung.

Das Wichtigste in Kürze

• Das AI Security Institute testete Frontier-Modelle über sieben Benchmarks aus den Bereichen Cybersicherheit, Softwareentwicklung, Mathematik und Medizin.
• Bei Cybersicherheitsaufgaben ließen sich rund 8 Prozent der Tests erst mit einem Budget von über 10 Millionen Tokens lösen, manche benötigten bis zu 50 Millionen.
• Bei Softwareentwicklungs-Benchmarks wie TerminalBench 2.0 und SWE-Bench Pro stieg die Erfolgsquote um rund 25 Prozent, wenn das Token-Budget von 1 auf 10 Millionen erhöht wurde.
• Bei medizinischen Aufgaben (HealthBench) brachte mehr Rechenbudget dagegen keine signifikante Verbesserung.
• Das Institut empfiehlt, Fähigkeiten künftig als Kurve über das Rechenbudget darzustellen statt als einzelnen Punktwert.

Was genau wurde getestet

Das „Science of Evaluation“-Team des AISI ließ Frontier-Modelle mit stark variierenden Rechenbudgets gegen etablierte Agenten-Benchmarks antreten: die institutseigene Cyber-CTF-Suite und „The Last Ones“ für Cybersicherheit, TerminalBench 2.0, SWE-Bench Pro und METR-Aufgaben für Softwareentwicklung, Humanity’s Last Exam für akademische und mathematische Aufgaben sowie HealthBench für medizinische Fragestellungen. Einbezogen wurden nach Angaben des Instituts elf Frontier-Modelle, die zwischen April 2025 und April 2026 veröffentlicht wurden, für die Cybersicherheitstests sowie zwanzig Modelle aus den Jahren 2023 bis 2025 für die Softwareentwicklungs-Auswertung.

Der zentrale Mechanismus, den die Forscher beschreiben, ist unauffällig, aber folgenreich: Fast jede öffentliche Bewertung läuft mit einem eng begrenzten Token-Budget. Weil der Rechenaufwand einer Aufgabe mit ihrer Länge wächst, geht einem Modell bei langen, komplexen Aufgaben zuerst das Budget aus – während kurze Aufgaben ganz normal zu Ende gerechnet werden können. Ein knapp bemessenes Testbudget bestraft damit gerade jene Aufgaben, bei denen ein Agent eigentlich zeigen könnte, was er kann.

Ein Potenzgesetz zwischen Aufgabendauer und Rechenaufwand

Die Studie beschreibt einen auffälligen Zusammenhang: Der nötige Token-Verbrauch skaliert näherungsweise mit der Zeit, die ein Mensch für dieselbe Aufgabe brauchen würde. Eine Aufgabe, die einen Menschen eine Minute kostet, verbraucht demnach tausende Tokens; eine Stundenaufgabe geht in die Millionen, eine Aufgabe von der Dauer einer Arbeitswoche in die Milliarden. Bei den Softwareentwicklungs-Benchmarks zeigten neuere Modelle zudem überproportional steilere Fortschrittskurven bei hohen Budgets – ein Hinweis darauf, dass gerade die aktuellsten Systeme von zusätzlichem Rechenbudget am stärksten profitieren und in Standardtests am stärksten unterschätzt werden.

Warum das mehr als eine methodische Fußnote ist

Die Einordnung des Instituts hat eine sicherheitspolitische Spitze: Wer eine potenziell gefährliche Fähigkeit – etwa im Bereich Cyberangriffe – mit einem knappen Testbudget prüft und dann Entwarnung gibt, misst womöglich nur die eigene Sparsamkeit beim Testen. Ein Angreifer, der ein Modell tatsächlich missbrauchen will, hält sich nicht an das Budget des Prüfstands. Genau deshalb fordert das AISI, Fähigkeiten künftig als Kurve über das eingesetzte Rechenbudget zu berichten – vor allem dann, wenn diese Kurve bei den getesteten Maximalwerten noch nicht abflacht.

Die Ergebnisse ordnen sich in eine größere Debatte ein, wie belastbar aktuelle KI-Vergleiche überhaupt sind. Erst kürzlich hatte ein spezialisiertes Finanzmodell mit ungewöhnlich guten Ergebnissen gegen die großen Anbieter für Diskussionen gesorgt – auch dort ging es letztlich um die Frage, wie aussagekräftig einzelne Benchmark-Zahlen sind, wenn Trainingsdaten, Aufgabenzuschnitt oder eben das Rechenbudget stark variieren. Wer aktuell zwischen den großen KI-Anbietern vergleicht, etwa im Vergleich von ChatGPT, Claude und Gemini, sollte solche Testbedingungen künftig mitdenken.

Einordnung

Für Unternehmen und Behörden, die KI-Systeme anhand von Benchmark-Ranglisten bewerten, ist das eine unbequeme Erkenntnis: Ein niedriger oder mittelmäßiger Score sagt möglicherweise weniger über die tatsächliche Grenze der Fähigkeiten aus als über das Budget, mit dem getestet wurde. Das gilt in beide Richtungen – für überzogene Sicherheitsversprechen ebenso wie für vorschnelle Entwarnungen bei riskanten Fähigkeiten. Die von AISI vorgeschlagene Kurvendarstellung ist aufwendiger und teurer als ein einzelner Punktwert, dürfte sich aber angesichts der Tragweite solcher Bewertungen – von Zulassungsentscheidungen bis zu Sicherheitsaudits – als notwendiger Standard durchsetzen. Ein zweites, ergänzendes Paper des Instituts zur Aufschlüsselung der Ergebnisse ist laut AISI bereits angekündigt.