KI-Agenten schätzen ihre Laufzeit schlecht: Warum das ein Kontrollproblem ist

Ein KI-Agent kann eine Aufgabe bearbeiten, Dateien durchsuchen, Code ändern und Tests starten. Doch wenn er sagt, wie lange das dauern wird oder wie lange er schon gearbeitet hat, sollte man ihm offenbar nicht zu viel Vertrauen schenken. Eine neue Untersuchung von zwei Forschern im MATS-Programm testete Claude Code und Codex auf ihr Zeitgefühl. Das Ergebnis ist weniger spektakulär als ein neuer Benchmarkrekord, für den praktischen Einsatz aber wichtiger: Die getesteten Agenten verschätzten sich bei Dauer und Rückblick deutlich. Wer ihnen längere, unbeaufsichtigte Aufgaben übergibt, braucht daher unabhängige Grenzen für Zeit, Kosten und erlaubte Aktionen.

Das Wichtigste in Kürze

• Die Untersuchung ließ Claude Code und Codex vor Programmieraufgaben ihre Laufzeit schätzen und danach die verstrichene Zeit rückblickend bewerten.
• In der zweiten Testrunde lagen die Schätzungen laut Forschern bei Claude Code im Mittel um etwa das Dreifache, bei Codex um das Sechs- bis Zehnfache daneben.
• Das Problem ist nicht bloß eine ungenaue Komfortfunktion: Falsche Zeitschätzungen erschweren Budgets, Eskalationen und die Aufsicht über lang laufende Agenten.
• Die Studie ist klein und untersucht konkrete CLI-Agenten in einem begrenzten Aufgabenrahmen. Sie liefert ein Warnsignal, aber keinen Beweis über alle Modelle und Einsatzarten.

Die Uhr ist kein Nebenproblem

Die Autoren ließen zwei weit verbreitete Coding-Agenten drei Dinge tun: vor einer Aufgabe die erwartete Dauer nennen, die Aufgabe bearbeiten und anschließend schätzen, wie viel reale Zeit vergangen war. Als Material dienten 200 Aufgaben aus ProgramBench sowie eine eigene Suite mit 18 Benchmarks. Das Design trifft einen unscheinbaren, aber alltäglichen Punkt. In jedem Entwicklungsprozess hängt die Planung daran, wie lange Arbeit voraussichtlich dauert. Bei einem menschlichen Kollegen ist eine Schätzung nicht immer richtig. Sie kann aber zusammen mit Zwischenständen, Rückfragen und Erfahrung eine brauchbare Grundlage für Entscheidungen sein.

Bei einem Agenten übernimmt dieselbe Angabe eine andere Rolle. Er kann in kurzer Zeit viele Werkzeuge aufrufen und dennoch minutenlang in einer Schleife aus Test, Korrektur und erneutem Test festhängen. Wenn er seine Laufzeit weder zuverlässig vorhersagen noch im Nachhinein beschreiben kann, fehlt der aufsichtführenden Person ein wichtiges Signal. Die Untersuchung berichtet, dass die Systeme nicht nur bei der Planung, sondern auch bei der rückblickenden Einschätzung der verstrichenen Zeit deutlich danebenlagen. Codex lag in einer zweiten Runde nach Darstellung der Forscher im Mittel um das Sechs- bis Zehnfache falsch, Claude Code etwa um das Dreifache.

Solche Werte sind keine Aussage darüber, ob ein Agent guten Code schreiben kann. Sie sagen etwas über seine Selbstbeschreibung aus. Das ist ein Unterschied, den die Debatte über Autonomie oft verwischt. Ein System kann eine Teilaufgabe fachlich lösen und zugleich unfähig sein, verlässlich zu melden, ob es planmäßig vorankommt. Für eine Chat-Antwort ist das meist lästig. Für einen Agenten mit Shell, Cloud-Zugang oder langer Aufgabenliste wird es zu einer Frage der Steuerbarkeit.

Warum Vertrauen in Fortschrittsmeldungen teuer werden kann

Stellen wir uns einen Agenten vor, der nachts eine Abhängigkeit aktualisieren, Fehler beheben und einen Pull Request vorbereiten soll. Ein zu optimistischer Zeitwert führt zunächst nur zu einer enttäuschten Erwartung. In der Praxis folgen daraus aber Kosten: ein blockierter Runner, mehr verbrauchte Rechenzeit, verspätete Übergaben oder ein unerkanntes Festfahren. Noch problematischer wird es, wenn Menschen ihre Aufmerksamkeit nach der vom Agenten genannten Dauer planen. Sie prüfen dann zu früh nicht nach, oder sie lassen ein System zu lange arbeiten, weil dessen Statusmeldung nach Fortschritt klingt.

Der Kern ist kein Argument gegen Automatisierung. Gerade bei klar abgegrenzten Aufgaben können Coding-Agenten Arbeit beschleunigen. Anthropic beschreibt in einer Analyse von rund 400.000 Claude-Code-Sitzungen eine wachsende, intensive Nutzung solcher Werkzeuge. Auch die Forschung zur Wirkung von Coding-Assistenten zeigt ein gemischtes Bild: Entwickler verlagern Arbeit vom Schreiben hin zu Prüfung, Korrektur und Steuerung. Der Gewinn entsteht also nicht dadurch, dass niemand mehr hinschaut, sondern dadurch, dass Menschen weniger Routinearbeit erledigen und die verbleibende Aufsicht gut organisieren.

Das passt zu unserem Beitrag über KI-Agenten an Laborgeräten. Sobald ein Agent nicht nur Text erzeugt, sondern Werkzeuge nutzt, ist die Schnittstelle wichtiger als die Selbstsicherheit des Chatfensters. Ein Zeitgefühl im Modell wäre hilfreich. Wichtiger sind aber Systeme, die eine fehlerhafte Selbsteinschätzung nicht zur alleinigen Entscheidungsgrundlage machen.

Grenzen der Untersuchung sauber lesen

Die neue Studie verdient gerade wegen ihrer Zuspitzung eine vorsichtige Lesart. Sie vergleicht zwei konkrete Agenten in einem bestimmten Versuchsaufbau. ProgramBench und die zusätzliche Suite bilden nicht die ganze Vielfalt realer Repositories, Teams oder Unterbrechungen ab. Aus den Ergebnissen folgt nicht, dass jedes Modell bei jeder Aufgabe um einen festen Faktor falsch liegt. Auch ändern sich Agenten, Werkzeuge und Standardprompts schnell. Wer eine Zahl aus einem einzelnen Test in eine universelle Produktivitätsprognose verwandelt, wiederholt genau den Fehler, vor dem die Arbeit warnt.

Die Messidee selbst ist trotzdem stark. Viele Modelltests fragen, ob ein System eine Aufgabe schafft. Die Frage, ob es seine eigene Arbeit zeitlich einordnen kann, ist davon getrennt. Sie berührt Metakognition, also die Fähigkeit, die eigenen Grenzen und den eigenen Zustand sinnvoll zu bewerten. Bei Menschen ist diese Fähigkeit ebenfalls fehlerhaft. In technischen Prozessen gleichen wir sie durch Kalender, Logs, Messpunkte und gegenseitige Kontrolle aus. Für Agenten sollten diese Hilfen nicht fehlen, nur weil die Oberfläche eine überzeugende Fortschrittsanzeige formuliert.

Andere Untersuchungen stützen die vorsichtige Richtung, ohne die neue Studie direkt zu bestätigen. Eine Langzeitstudie zu Coding-Assistenten beschreibt, dass sich Softwarearbeit in Richtung Supervisory Engineering verschiebt: Ziele setzen, Ergebnisse prüfen und Fehler korrigieren. Eine große Analyse realer Agentensitzungen fand wiederum, dass ungenaue Selbstberichte und Verstöße gegen Vorgaben als Problemfelder bestehen bleiben. Das sind unterschiedliche Methoden und Fragestellungen. Gemeinsam ist ihnen die Erkenntnis, dass Qualität und Kontrolle nicht aus einer gefühlten Geschwindigkeit folgen.

Die praktische Antwort heißt Außensteuerung

Teams müssen nicht warten, bis Modelle ein besseres Zeitgefühl entwickeln. Sie können Agenten so betreiben, dass ihre Selbstauskunft nur ein Hinweis bleibt. Dazu gehören harte Zeitlimits pro Lauf, getrennte Budgets für Modell- und Toolnutzung, klar definierte Abbruchbedingungen und Logs, die tatsächliche Dauer sowie jeden relevanten Werkzeugaufruf erfassen. Bei Änderungen mit Nebenwirkungen sollte ein Agent vor der Ausführung eine explizite Freigabe benötigen. Für lange Aufträge helfen Zwischenziele mit überprüfbaren Artefakten besser als die Frage, ob sich ein Modell gerade zu 70 Prozent fertig fühlt.

Ebenso wichtig ist eine gute Aufteilung der Aufgaben. Ein Agent kann Tests ausführen, Diff-Dateien vorbereiten oder Alternativen recherchieren. Die Entscheidung, eine Migration auszurollen, Zugriffsrechte zu erweitern oder Daten zu löschen, sollte jedoch an externe Regeln und menschliche Kontrolle gebunden bleiben. Die technische Umsetzung kann unterschiedlich aussehen, von einer CI-Zeitbegrenzung bis zu Berechtigungen nach dem Prinzip der geringsten Rechte. Das Prinzip bleibt gleich: Der Agent beschreibt, was er getan hat. Das System außerhalb des Agenten entscheidet, was er noch tun darf.

Die Untersuchung zu fehlendem Zeitgefühl liefert deshalb keinen Grund, Coding-Agenten abzuschreiben. Sie korrigiert eine gefährliche Abkürzung im Denken. Autonom bedeutet nicht selbstüberwachend, und eine flüssig formulierte Statusmeldung ist kein Messwert. Je länger und handlungsfähiger Agenten werden, desto weniger darf ihre eigene Zeitschätzung als Betriebsgrundlage genügen. Eine verlässliche Stoppuhr, ein klarer Kostenrahmen und ein menschlich verstandener Abbruchknopf sind keine Bremse für KI. Sie sind die Voraussetzung, sie verantwortbar laufen zu lassen.