Wer vergisst, lernt bessere Grammatik

Das erste Modell konnte nicht mehr richtig schreiben. Es produzierte Rechtschreibfehler in Serie – für die Autoren ein Hinweis darauf, dass selbst die kürzesten Abhängigkeiten gestört waren, die es gibt: die innerhalb eines Wortes, von Token zu Token. Genau dieser Fehlschlag brachte sie auf die Lösung.

Ihre Ausgangsfrage kommt aus der Entwicklungspsychologie: Kinder lernen Sprache mit einem lächerlich kleinen Arbeitsgedächtnis, und eine alte Vermutung besagt, dass gerade diese Enge hilft – wer sich den Wortlaut nicht merken kann, muss sich die Struktur merken. Also bauten sie die Enge in ein Sprachmodell ein. Nicht als Nachbearbeitung eines fertigen Systems, sondern als feste Bedingung während des Trainings: Die Aufmerksamkeit auf weiter zurückliegende Wörter wird gedämpft, nach einem Potenzgesetz, wie es Gedächtnismodelle der Kognitionsforschung beschreiben.

Nackt angewandt verschlechterte dieser Zerfall das Modell – im Validierungsverlust nur leicht, aber stetig mit der Stärke des Zerfalls; an den Ausgaben deutlich sichtbar. Der Fund liegt in dem, was sie hinzufügten: einen Nachhall. Die letzten fünf bis zehn Token bleiben vollständig erhalten – grob drei bis sieben Wörter –, alles davor verblasst. Mit diesem kleinen Puffer kippt das Vorzeichen – aus Verschlechterung wird Verbesserung.

Gemessen wurde auf einem Korpus, der dem Sprachangebot eines Kindes nachempfunden ist. In der Grammatikprüfung mit tausend Minimalpaaren je Einzeltest liegt das vergessliche Modell um 1,04 Prozentpunkte vorn, bei der zehnfachen Datenmenge um 2,30. Die Gewinne verteilen sich nicht gleichmäßig: Sie sammeln sich bei Subjekt-Verb-Kongruenz, Anaphern und Argumentstruktur – dort also, wo eher lokale syntaktische Abhängigkeiten zählen. Kein Phänomen wurde signifikant schlechter; mehrere zeigten allerdings gar keine Verbesserung.

Und dann der Haken, der dem Papier seinen zweiten Halbsatz gibt. Dasselbe Modell sagt menschliche Lesezeiten schlechter vorher als das Modell mit intaktem Gedächtnis. Auf einem Datensatz mit 181 Testpersonen bricht die Anpassung deutlich ein, auf einem zweiten mit Blickbewegungen ebenfalls. Ein Modell, dessen Beschränkungen menschlicher sind, ist deshalb nicht schon menschenähnlicher darin, menschliches Verhalten vorherzusagen.

Die beiden gängigen Erklärungen für solche Abweichungen greifen hier nicht. Die eine schiebt sie auf übermenschliche Datenmengen und setzt den Umschlag erst bei rund zwei Milliarden Token an – hier tritt er schon bei zehn Millionen Wörtern auf. Die andere führt ihn darauf zurück, dass sehr gute Modelle seltene Wörter auswendig kennen und deshalb zu treffsicher vorhersagen; sie sagt dafür zwei Signaturen voraus, und die Autoren finden nur eine davon.

Menschenähnlich gebaut heißt nicht menschenähnlich im Verhalten, und beides zugleich zu wollen war womöglich immer schon zwei Fragen. Der Riss zeigt sich dabei im direkten Paarvergleich; über die Trainingsgrößen hinweg sagen die besseren Modelle die Lesezeiten weiterhin besser vorher.

Was dagegen spricht¶

Der Effekt ist klein – beim Validierungsverlust, sagen die Autoren, liege er etwa in der Größenordnung, mit der zwei Läufe schon durch bloßen Zufall auseinanderliegen. Auf die Grammatikprüfung überträgt sich das ausdrücklich nicht: Dort nennen sie den Gewinn deutlicher und bedeutsamer. Was der Vergleich von Paaren mit identischem Startpunkt zeigt, ist etwas anderes: dass schon der kleine Vorteil beim Validierungsverlust verlässlich auftritt. Das Modell ist mit knapp 14 Millionen Parametern winzig; ob die Größe eine eigene Rolle spielt, lassen die Autoren ausdrücklich offen. Sie erwarten aber, dass der Vorteil bei heutigen Trainingsgrößen – Milliarden bis Billionen Token – abnehmen dürfte, weil das Modell die Nähe-Regel dann aus den Daten lernt; bei der hier geprüften zehnfachen Datenmenge wurde er allerdings größer, nicht kleiner. Der rettende Nachhall-Puffer wurde nachträglich eingeführt, nachdem die reine Fassung gescheitert war – festgelegt allerdings am kleinen Korpus und danach nie mehr angerührt, sodass alle Hauptbefunde außerhalb dieser Wahl entstanden.

Was bleibt: Der Korpus ist ein entwicklungsnaher – überwiegend gesprochene Sprache, rund vierzig Prozent davon kindgerichtet. Bei Texten mit wirklich weiten Bezügen – Fachaufsätzen, Romanen, Quelltext – könnte das Bild anders aussehen, und ob der Zerfall nur statistisch umgewichtet oder tatsächlich anders lernen lässt, ist offen.

Warum das hier steht¶

Weil eine kognitive Randbedingung hier nicht als Metapher auftaucht, sondern als Bauteil – und weil das Ergebnis in beide Richtungen zeigt statt in die erwartete. Der Nebensatz über die Rechtschreibfehler ist mir dabei mehr wert als die Hauptzahl: Er zeigt, wie schmal der Grat zwischen produktiver Beschränkung und bloßem Schaden ist.

Gegenprüfung

Von drei Modellfamilien gegen den Volltext der Quelle gelesen; Befunde und Korrekturen stehen im Protokoll.claude · gemini · grokPrüfprotokoll zu dieser Notiz →