Richard Suttons Oak Lab: Warum KI wieder lernen soll

Richard Sutton, einer der prägenden Forscher des Verstärkungslernens, hat gemeinsam mit Khurram Javed das Forschungslabor Oak Lab gegründet. Das Vorhaben zielt auf KI-Agenten, die nicht nur vor ihrem Einsatz trainiert werden, sondern im Betrieb aus eigenen Erfahrungen weiterlernen. Damit stellt Sutton eine Frage, die im Chatbot-Boom leicht untergeht: Reicht es, Modelle immer größer zu trainieren, oder muss eine wirklich allgemeine KI vor allem handeln, scheitern und daraus lernen können?

Die Nachricht ist weniger ein Produktstart als eine programmatische Kampfansage an den derzeit dominierenden Weg. Oak Lab hat noch keinen großen Agenten vorgeführt. Gerade deshalb ist die Gründung interessant: Sie bündelt eine Forschungsrichtung, die bei aller Begeisterung für Sprachmodelle ein ungelöstes Kernproblem der KI in den Mittelpunkt rückt.

Das Wichtigste in Kürze

• Oak Lab will KI-Agenten entwickeln, die aus fortlaufender Erfahrung lernen, statt ihr Wissen nur in einem abgeschlossenen Training zu erwerben.
• Gründer Richard Sutton gehört zu den Wegbereitern des Verstärkungslernens, bei dem ein System durch Rückmeldung auf seine Handlungen lernt.
• Im Zentrum steht Suttons OaK-Idee: Ein Agent soll eigene Teilaufgaben und nützliches Wissen für Planung bilden können.
• Die Vision ist wissenschaftlich anspruchsvoll, aber noch keine nachgewiesene Alternative zu heutigen Sprachmodellen.

Von der Antwortmaschine zum lernenden Akteur

Die verbreiteten großen Sprachmodelle kennen einen klaren Rhythmus: Zuerst werden sie mit gewaltigen Datenmengen trainiert, danach beantworten sie Anfragen. Anpassungen sind möglich, etwa über Nachtraining, Werkzeuge oder gespeicherte Nutzervorgaben. Doch das Grundmodell lernt dabei nicht verlässlich und dauerhaft aus jeder einzelnen Situation. Genau diese Trennung zwischen Training und Einsatz kritisiert Sutton seit Längerem.

Sein Gegenentwurf kommt aus dem Verstärkungslernen. Dort interagiert ein Agent mit einer Umgebung, erhält für günstige oder ungünstige Folgen seiner Handlungen Rückmeldung und verbessert seine Entscheidungen. Ein Staubsaugerroboter, der aus Kollisionen lernt, wäre ein anschauliches Bild; die Forschung ist aber weit schwieriger als dieses Beispiel. In offenen Umgebungen ist unklar, welche Beobachtung wichtig ist, welche Handlung später belohnt wird und wie das System Neues aufnehmen kann, ohne Bewährtes zu vergessen.

Sutton hat die Grundlagen dieses Feldes über Jahrzehnte mitgeprägt. Das Fach beschäftigt sich nicht nur mit Spielen, sondern mit dem allgemeinen Problem, unter Unsicherheit zu handeln und langfristige Belohnung zu berücksichtigen. Für Oak Lab ist das entscheidend: Der Agent soll nicht allein einen plausiblen nächsten Satz erzeugen, sondern fortlaufend seine Vorstellungen darüber verbessern, was in seiner Umwelt möglich und sinnvoll ist.

Was hinter der OaK-Architektur steckt

Die von Sutton skizzierte OaK-Architektur steht für „Options and Knowledge“, also Optionen und Wissen. Optionen sind dabei keine bloßen Auswahlknöpfe, sondern erlernte Handlungsmuster: etwa eine Folge von Schritten, mit der ein Agent ein Teilziel erreicht. Das Wissen soll ihm helfen einzuschätzen, welche dieser Optionen unter welchen Bedingungen Erfolg versprechen.

Der entscheidende Anspruch liegt in der Abstraktion. Ein leistungsfähiger Agent müsste die Welt nicht vollständig abbilden. Er müsste aber selbst erkennen, welche Teilprobleme gerade relevant sind, und daraus wiederverwendbare Fähigkeiten entwickeln. Sutton vergleicht diese Art des Lernens mit Erfahrung: Wer Fahrrad fährt, speichert nicht nur eine Anleitung, sondern lernt durch Rückmeldung, Gleichgewicht und Bewegung zu verbinden.

Das klingt plausibel, ist technisch jedoch nicht gelöst. Neuronale Netze können beim Lernen neuer Aufgaben ältere Fähigkeiten verlieren; Fachleute sprechen von katastrophalem Vergessen. Zudem ist die reale Welt zu komplex, um für jede Situation sichere Belohnungen und brauchbare Tests bereitzustellen. Sutton hat selbst darauf hingewiesen, dass es noch keine großen Beispiele für eine vollständige OaK-Architektur gibt. Oak Lab startet also mit einem Forschungsprogramm, nicht mit einem Ersatz für ChatGPT oder andere etablierte Systeme.

Warum das auch für heutige KI-Nutzer wichtig ist

Die Debatte wirkt zunächst akademisch, berührt aber die Erwartungen an KI-Agenten direkt. Viele aktuelle Systeme können recherchieren, Code ausführen oder Programme bedienen. Ihre Zuverlässigkeit hängt dennoch stark von Vorgaben, abgesicherten Werkzeugen und menschlicher Kontrolle ab. Ein Agent, der aus vielen eigenen Schritten lernt, könnte langfristig anpassungsfähiger werden. Er könnte aber ebenso neue Fehlwege verfestigen, wenn Rückmeldungen falsch, unvollständig oder manipuliert sind.

Deshalb ist Suttons Ansatz kein Argument, Sprachmodelle abzuschreiben. Sie bleiben für Sprache, Zusammenfassung und viele Wissensaufgaben sehr nützlich. Die offene Frage lautet eher, ob sie einen Baustein in einem lernenden Agenten bilden oder ob die nächste große Architektur anders aussehen muss. Die jüngst vorgestellten offenen Modelle wie Soofi S zeigen zudem: Neben den großen Plattformen wird auch darüber entschieden, wer Modelle anpassen, prüfen und in kontrollierten Umgebungen betreiben kann.

Für Unternehmen folgt daraus eine nüchterne Konsequenz. Wer heute agentische Systeme erprobt, sollte Lernen nicht mit bloßer Automatisierung verwechseln. Wichtig sind begrenzte Einsatzbereiche, nachvollziehbare Ziele, Protokolle und die Möglichkeit, Eingriffe rückgängig zu machen. Ein System, das dauerhaft dazulernt, braucht besonders gute Leitplanken.

Ausblick: Eine wichtige Wette, noch kein Beweis

Oak Lab ist vor allem deshalb bemerkenswert, weil Sutton seine langjährige Kritik nun in ein eigenständiges Labor übersetzt. Die Wette lautet, dass Fortschritt nicht allein aus mehr Trainingsdaten und Rechenleistung kommt, sondern aus Agenten, die mit der Welt in Beziehung treten und dabei neue Fähigkeiten aufbauen. Ob dieser Weg tragfähig ist, werden nicht Ankündigungen entscheiden, sondern robuste Ergebnisse bei kontinuierlichem Lernen, Planung und Sicherheit.

Bis dahin ist die Gründung ein nützlicher Kontrapunkt zur aktuellen Produktlogik der KI-Branche. Sie erinnert daran, dass überzeugende Gespräche mit einem Chatbot und dauerhaftes, eigenständiges Lernen zwei verschiedene Fähigkeiten sind. Die Lücke zwischen beiden zu schließen, könnte sich als eine der schwierigsten Aufgaben der nächsten KI-Phase erweisen.