Warum ein Kleinkind Sprache lernt und ein KI-Modell dafür Billionen Wörter braucht

Ein zweijähriges Kind hat noch nie ein Lehrbuch gelesen und trotzdem nach ein paar hunderttausend gehörten Sätzen die Grundlagen seiner Muttersprache verstanden. Ein modernes Sprachmodell braucht für ein vergleichbares Sprachniveau Billionen von Wörtern und ganze Rechenzentren voller Energie. Genau dieser Größenunterschied treibt derzeit eine wachsende Forschungsgemeinschaft an Kognitionswissenschaftlerinnen und KI-Forschern um, wie ein aktueller Bericht des MIT Technology Review zeigt: Wenn Menschen so viel effizienter lernen, was genau macht ihr Gehirn anders als ein Transformer-Modell?

Das Wichtigste in Kürze

• Kinder hören bis zum Vorschulalter rund 100 Millionen Wörter, bis zum Erwachsenenalter mit Lesefähigkeit etwa 300 Millionen, und sprechen bereits nach einem Bruchteil davon fließend.
• Meta trainierte sein Modell Llama 3.1 auf 15 Billionen Tokens, aktuelle Frontier-Modelle nutzen laut Forschern inzwischen ein Vielfaches davon.
• Der jährliche BabyLM-Wettbewerb lässt Teams Sprachmodelle gezielt mit kindgerechten Datenmengen von nur 10 bis 100 Millionen Wörtern trainieren.
• Ein Modell namens GPT-BERT erzielte 2024 bei Grammatik-Benchmarks starke Ergebnisse trotz um Größenordnungen weniger Trainingsdaten als große kommerzielle Modelle.
• Forscher diskutieren mehrere Erklärungen: eingebaute Sprachfähigkeiten, multimodales Lernen, aktive Erkundung der Umwelt und soziale Interaktion mit Bezugspersonen.

Eine Kluft von mehreren Größenordnungen

Wie groß der Unterschied tatsächlich ist, macht Michael C. Frank von der Stanford University besonders anschaulich: Um mit KI-Modellen einen Meilenstein nachzubilden, den ein Kind in seinem ersten Lebensjahr im Wohnzimmer erreicht, müsse man im übertragenen Sinne einen ganzen Wald verbrennen und praktisch das gesamte im Internet verfügbare menschliche Wissen verarbeiten. Ein älteres Modell wie GPT-2, trainiert auf rund 30 Millionen Wörtern, produzierte laut den im Bericht zitierten Forschern noch weitgehend Unsinn. Ein Kleinkind, das eine ähnliche Wortmenge gehört hat, spricht zu diesem Zeitpunkt bereits in korrekten, wenn auch einfachen Sätzen.

Vier Erklärungsversuche im Wettstreit

Die klassische, auf Noam Chomsky zurückgehende These geht von angeborenen grammatikalischen Strukturen im menschlichen Gehirn aus. Sie gerät allerdings unter Druck, seit rein statistisch lernende Sprachmodelle zeigen, dass sich viele grammatikalische Muster offenbar auch ohne eingebaute Sprachregeln aus großen Textmengen ableiten lassen. Brenden Lake von der Princeton University verfolgt einen anderen Ansatz: In seinem SAYCam-Projekt ließ er Kleinkinder über zweieinhalb Jahre hinweg Kopfkameras tragen und trainierte damit multimodale Modelle aus nur 61 Stunden Videomaterial, die tatsächlich Objekte erkennen und mit Wörtern verknüpfen konnten. Sein eigener Befund relativiert den Erfolg aber sofort: „Wir erhalten keinen Zweijährigen am Ende.“ Alison Gopnik von der UC Berkeley wiederum betont die aktive Rolle von Kindern, die selbst entscheiden, welche Reize sie erkunden und welche Ursache-Wirkung-Zusammenhänge sie ausprobieren, während Sprachmodelle bislang rein passiv aus vorgegebenen Textmengen lernen. Elizabeth Bonawitz von der Harvard University schließlich zeigt in ihrer Forschung, dass Kinder Informationen anders gewichten, sobald erkennbar ist, dass eine erwachsene Person sie gezielt unterrichten will, sie urteilen also nicht nur über die Fakten, sondern auch über die Absicht der Lehrperson.

Der BabyLM-Wettbewerb als Testlabor

Um diese Theorien praktisch zu prüfen, hat der Linguist Alex Warstadt von der UC San Diego 2022 den BabyLM-Wettbewerb ins Leben gerufen. Teams treten dort an, Sprachmodelle gezielt mit kindgerechten Datenmengen von 10 oder 100 Millionen Wörtern zu trainieren, weit weniger als die Billionen Tokens großer kommerzieller Systeme. Beim Durchgang 2024 erzielte ein hybrides Modell namens GPT-BERT bei Grammatik-Benchmarks bemerkenswert starke Ergebnisse, obwohl es auf um Größenordnungen weniger Daten trainiert wurde als deutlich größere Vergleichsmodelle, wie die zugehörige Fachpublikation dokumentiert. Überraschend fiel dabei ein Detail aus: Die intuitive Annahme, Modelle lernten besser, wenn man ihnen wie Kindern zunächst einfache und erst später komplexere Sprache anbietet, das sogenannte Curriculum Learning, funktionierte in den Experimenten schlechter als erwartet.

Warum das mehr als akademische Neugier ist

Die Frage nach Dateneffizienz ist längst kein reines Nischenthema der Linguistik mehr, sie trifft auf ein ganz praktisches Problem der gesamten Branche: Hochwertige, frei nutzbare Textdaten aus dem Internet könnten nach Einschätzung mehrerer Forscher bereits in den 2030er-Jahren weitgehend ausgeschöpft sein, ein Engpass, der auch zur wachsenden Debatte über den zunehmenden Anteil KI-generierter Texte im offenen Web passt, die selbst als Trainingsmaterial zunehmend unbrauchbar werden. Effizientere Lernverfahren nach dem Vorbild kindlichen Spracherwerbs könnten deshalb nicht nur ein akademisches Rätsel lösen, sondern auch praktisch helfen, etwa um bessere Sprachmodelle für Sprachen mit wenig verfügbaren Textdaten zu trainieren, von Serbisch bis Samisch. Dass dateneffizientes Training auch industriell relevant sein könnte, deutete zuletzt bereits der Fall des Startups Inherent an, dessen vergleichsweise kleines Modell Faraday nach eigenen, bislang unabhängig ungeprüften Angaben bei wissenschaftlichen Replikationsaufgaben mit deutlich größeren Systemen mithalten konnte.

Einordnung und Ausblick

Einen einzelnen Durchbruch, der die Kluft zwischen kindlichem und maschinellem Spracherwerb schließt, hat die Forschung bislang nicht geliefert, eher ein Mosaik aus Teilerklärungen, von denen jede einen Teil des Rätsels erhellt, aber keine für sich allein ausreicht. Gopnik vermutet, dass grundlegende Fortschritte erst mit einer neuen, auf die heutigen Transformer-Architekturen folgenden Modellgeneration kommen könnten, die entwicklungspsychologische Erkenntnisse von Anfang an mitdenkt. Bis dahin bleibt der Befund vor allem ein nützlicher Realitätscheck für die KI-Branche: Rohe Rechenleistung und immer größere Datenmengen sind ein Weg zu leistungsfähigeren Modellen, aber offensichtlich nicht der einzige, den die Natur kennt.