Was nach zwanzig Prozent feststeht, trägt den Rest des Trainings

Ein fertig vortrainiertes Sprachmodell wird auf drei Arten nachgeschärft. Beim überwachten Nachtrainieren lernt es aus fremden Musterlösungen. Beim Verstärkungslernen erzeugt es eigene Antworten und bekommt am Ende zu hören, ob das Ergebnis stimmte – ein einziges Urteil für einen langen Text. Der dritte Weg, die On-Policy-Destillation, mischt beides: Das Modell schreibt selbst, und ein stärkeres Lehrermodell kommentiert jedes einzelne Wort.

Weil die Rückmeldung so dicht ist wie beim ersten Verfahren, liegt die Erwartung nahe, dass auch die Gewichte so großflächig umgeschrieben werden. Genau das prüft die Arbeit nach – und findet zunächst ein Mittelfeld. Zählt man, wie viele Gewichte sich um weniger verändert haben, als das Zahlenformat des Modells überhaupt abbilden kann, bleiben beim überwachten Nachtrainieren 8,1 Prozent unberührt, beim Verstärkungslernen 77,2 Prozent und bei der Destillation 51,6 Prozent. Die drei Zahlen zählen allerdings nicht ab derselben Stelle: Das überwachte Verfahren ist ab dem rohen Grundmodell gemessen, die beiden anderen ab dem bereits überwacht nachtrainierten Stand.

Interessant wird es erst, wenn man nicht den Endpunkt betrachtet, sondern den Weg dorthin. Verfolgt man über die gespeicherten Zwischenstände, wie viele Richtungen die aufsummierte Änderung wirklich nutzt, dann weitet sich das überwachte Verfahren im Lauf des Trainings immer weiter aus, während das Verstärkungslernen sich zusammenzieht. Die Destillation tut keines von beidem: Sie sitzt schon früh in einem schmalen Band und bleibt dort. Und sie zielt dabei nicht irgendwohin – schon der erste gemessene Zwischenstand deckt sich weitgehend mit den sechzehn Richtungen, in denen das Training am Ende landen wird.

Damit ist noch nichts gezeigt außer einer Beschreibung. Die Autoren machen daraus einen Test: Sie nehmen die sechzehn Richtungen, die nach einem Fünftel des Trainings feststehen, zwingen alle weiteren Schritte in diesen Unterraum und lassen weiterlaufen. Die Destillation übersteht das praktisch unbeschädigt. Dasselbe Korsett, dem überwachten Nachtrainieren angelegt, verschlechtert es deutlich. Der schmale Kanal ist also nicht bloß ein Nebenprodukt, sondern reicht aus.

Bleibt die Frage, was ihn hält. Dünnt man die Rückmeldung des Lehrers auf ein Viertel der Wörter aus – ob nach Wichtigkeit ausgewählt oder rein zufällig –, ändert das an der Bahn fast nichts. Lässt man die Antworten gar nicht mehr vom Schüler schreiben, sondern vom Lehrermodell, ebenfalls nicht. Erst als die Autoren das Lernziel selbst mischen und den Anteil des Lehrersignals zugunsten des Belohnungssignals zurücknehmen, verlässt die Bahn ihr Band. Nicht die Dichte der Betreuung hält den Kanal, sondern die Herkunft des Gradienten.

Was dagegen spricht¶

Gemessen wurde ausschließlich an Modellen einer Familie. Die Kontrollversuche und der Rang-Test trainieren zudem allein auf Mathematikdaten – Programmierdaten kommen nur in der statischen Zählung ganz am Anfang vor. Die sechzehn Richtungen sind außerdem keine unabhängig gesetzte Schwelle: Sie wurden knapp unterhalb der effektiven Dimension gewählt, die man vorher an denselben Läufen beobachtet hatte. Und die Erklärung, warum das so ist – drei Filter, die die Schrittweite begrenzen, die Richtung lenken und die Sichtbarkeit entscheiden –, bezeichnen die Autoren selbst nicht als vollständige kausale Theorie, sondern als Deutung, die mit den Beobachtungen verträglich ist.

Warum das hier steht¶

Vermessungsarbeiten dieser Art werden selten gelesen, weil sie nichts verbessern. Sie sind trotzdem das Haltbarere: Der Befund hängt an einem Verfahren, nicht an einem Modell. Und er hat eine praktische Kante – wer eine Destillation abstimmt, dreht üblicherweise an der Menge der betreuten Wörter. Nach dieser Messung legen die Autoren nahe, dass das nicht der wichtigste Hebel ist.

Gegenprüfung

Von drei Modellfamilien gegen den Volltext der Quelle gelesen; Befunde und Korrekturen stehen im Protokoll.claude · gemini · grokPrüfprotokoll zu dieser Notiz →