Ob sich das Nachtraining lohnt, verrät der Verlust davor

Es gibt einen Streit darüber, was Verstärkungslernen mit einem Sprachmodell eigentlich anstellt. Die eine Seite sagt: Es schärft nur, was das Modell ohnehin schon bevorzugt hat. Die andere: Es bringt Fähigkeiten hervor, die vorher nicht da waren. Der Streit ist nicht akademisch – an ihm hängt, wohin ein Rechenbudget fließen soll. Schärft das Nachtraining bloß, gehört das Geld ins Vortraining. Kann es entdecken, gehört es ins Nachtraining.

An heutigen Sprachmodellen lässt sich das schwer entscheiden. Die Trainingskorpora sind zu groß und zu gemischt, um eine Verhaltensänderung der einen oder der anderen Stufe zuzuschreiben, und systematische Durchläufe über beide Stufen kann sich niemand leisten. Die Arbeit weicht deshalb aus – in eine Welt, die klein genug ist, um sie ganz zu vermessen.

Diese Welt ist Schach. Der Aufbau ahmt die übliche Kette nach: erst Vortraining auf menschlichen Partien, dann überwachtes Nachlernen an Denkspuren, dann Verstärkungslernen an Taktikaufgaben mit prüfbarer Belohnung. Nur besteht hier alles aus Zug-Tokens, das gesamte Vokabular umfasst 81 davon, und ob ein Zug richtig ist, lässt sich exakt entscheiden statt nur plausibel finden. Trainiert wurden zehn Modellgrößen von 5 Millionen bis 1 Milliarde Parameter, und die Datensätze sind auf der Ebene einzelner Stellungen getrennt, damit keine Trainingspartie durch eine Testaufgabe läuft.

Der erste Befund ist eine Vorhersage. Wie gut ein Modell nach dem Verstärkungslernen die Aufgaben mittlerer Schwierigkeit im ersten Anlauf löst, lässt sich aus einer Größe ablesen, die lange vorher feststeht: dem Verlust am Ende des Vortrainings. Und der Zusammenhang wird nicht schwächer, je mehr Rechenzeit ins Nachtraining geht, sondern strenger – die Stärke der Rangkorrelation wächst von 0,93 auf 0,99, wenn man den Vergleichspunkt entsprechend verschiebt. Was das Nachtraining am Ende erreicht, erbt es also zu einem guten Teil von dem, was vorher da war.

Die zweite Größe ist die Geschwindigkeit. Wie schnell die Belohnung mit jeder Verzehnfachung der Rechenzeit steigt, lässt sich am zuverlässigsten an der Datenmenge des Vortrainings ablesen, annähernd linear im Logarithmus der Tokenzahl; die Modellgröße trägt eine schwächere Korrektur bei. Der Verlust taugt auch hier als Anhaltspunkt, nur eben nicht durchgängig – auf einem der leichteren Aufgabenzuschnitte wird er deutlich unzuverlässiger.

Für die Budgetfrage heißt das zweierlei, und es ist nicht dieselbe Antwort. Zu früh mit dem Verstärkungslernen anzufangen lohnt sich nicht: Die zusätzliche Rechenzeit, die man gewinnt, wenn man das Vortraining abkürzt, macht die schwächere Ausgangslage nicht wett. Sobald diese Ausgangslage aber gut genug ist, kippt das Verhältnis. Bei einem Modell mit 20 Millionen Parametern wächst der Anteil des Nachtrainings entlang der Bestenlinie von 5 auf 32 Prozent des Gesamtbudgets – gemessen daran, wie oft der erste Anlauf sitzt. Zählt man stattdessen, was ein Modell in sechzehn Anläufen findet, kehrt sich die Empfehlung bei den größeren Modellen um: Dort ist zusätzliches Vortraining oft der bessere Einsatz.

Der interessantere Teil beginnt dort, wo die Autoren nicht mehr messen, wie gut die Modelle werden, sondern nachsehen, was sich in ihnen verschiebt. Weil jede Stellung eine überschaubare Menge legaler Züge hat, lässt sich die Wahrscheinlichkeitsverteilung über diese Züge vorher und nachher direkt vergleichen – etwas, das bei natürlicher Sprache niemand hinbekommt.

Dabei zerfällt die Streitfrage. Verstärkungslernen ist keine gleichmäßige Schärfung; ein Modell, das die alte Verteilung nur zuspitzt, passt nur mittelmäßig auf die Daten, und wie stark zugespitzt wird, schwankt von Stellung zu Stellung. Bei leichten Aufgaben verstärkt das Training vor allem den richtigen Zug, den das Modell schon vorher bevorzugte. Bei schweren holt es Züge aus dem Randbereich hervor – unterhalb einer Wahrscheinlichkeit von 0,05 – und hebt sie unter die ersten drei. Beide Lager hatten also recht, nur für verschiedene Aufgaben.

Die Kehrseite steht daneben und ist der ehrlichste Teil der Arbeit: Bei schweren Aufgaben verstärkt dasselbe Training auch falsche Züge, wenn das Modell von Anfang an auf dem falschen Fuß stand. Genau daraus erklärt sich ein Muster, das aus der Praxis bekannt ist – dass Verstärkungslernen die Trefferquote beim ersten Versuch hebt, die Quote über sechzehn Versuche aber kaum. Für die größeren Modelle gilt das hier ebenso – ausgerechnet das 20-Millionen-Modell, dessen Budgetkurve eben noch als Beispiel diente, macht die Ausnahme und legt anfangs auch über sechzehn Versuche deutlich zu. Wer aus mehreren Anläufen ohnehin den richtigen gefunden hätte, gewinnt nichts; verloren geht, was aus der Breite verschwindet.

Auch die Denkspuren selbst ändern sich, und zwar einseitig: Die Modelle probieren mehr Züge nebeneinander durch, aber nicht mehr Züge hintereinander. Verzweigungsgrad und Breite wachsen, die maximale Suchtiefe bleibt ungefähr, wo sie war, und Lösungen, die mehr als fünf Züge weit reichen, bleiben schwierig. Das Nachtraining verbessert offenbar das Erzeugen und Auswählen von Kandidaten schneller als das Vorausdenken.

Was dagegen spricht¶

Schach ist nicht Sprache, und die Autoren sagen es selbst deutlicher, als es die meisten täten: Ihre Skalierungsexponenten und die Anteile der drei oben beschriebenen Verschiebungs-Muster seien als Beschreibung der Struktur zu lesen, nicht als quantitative Vorhersage für Sprachmodelle. Das kleine Vokabular, die exakte Prüfbarkeit und der Umstand, dass hier nichts mit Weltwissen oder Sprachfluss verwoben ist, machen den Aufbau erst beherrschbar – und eben dadurch unähnlich. Die Belohnung ist zudem binär und die Lösung eindeutig, was strenger ist als die Teilbewertungen, mit denen Sprachaufgaben arbeiten.

Auch der Zusammenhang zwischen Datenmenge und Lerngeschwindigkeit ist ausdrücklich als lokaler Trend markiert, nicht als allgemeines Gesetz: Wo starke Modelle die leichten Testaufgaben ausreizen, drückt die Sättigung die geschätzte Steigung nach unten. Die größten Modelle hier haben eine Milliarde Parameter; ob die Tendenz zum wachsenden Nachtrainings-Anteil darüber hinaus hält, ist offen.

Und die Übertragung auf Text, immerhin die Stelle, an der die Arbeit ihre eigene Verallgemeinerung prüft, ist ein einzelner Trainingslauf mit einem 1-Milliarden-Modell auf einem zu siebzig Prozent mathematischen Mischkorpus, aus dem vierzehn Zwischenstände ausgewertet wurden. Die Autoren nennen es eine qualitative Fallstudie und einen ersten Hinweis. Dass dort dasselbe Muster auftaucht, ist bemerkenswert – belegt ist damit eine Ähnlichkeit, kein Gesetz.

Warum das hier steht¶

Weil hier eine Streitfrage nicht durch das bessere Argument entschieden wird, sondern durch einen Aufbau, in dem sich beide Antworten gleichzeitig prüfen lassen. Das Ergebnis ist keine Entscheidung für eine Seite, sondern die Einsicht, dass die Frage falsch gestellt war: Ob Nachtraining schärft oder findet, hängt davon ab, wie schwer die Aufgabe für das Modell ist. Solche Auflösungen halten länger als die Positionen, die sie ersetzen.

Und weil die zweite Hälfte eine Planungsgröße liefert, wo bisher Erfahrung stand. Wenn sich aus dem Zustand vor dem Nachtraining ablesen lässt, was danach herauskommt, wird aus einer Glaubensfrage eine Rechnung – für die Trefferquote im ersten Anlauf jedenfalls, denn wer auf die Ausbeute vieler Anläufe zielt, bekommt eine andere Antwort. Dass diese Ablesung in einer Miniaturwelt gilt und in der großen erst noch zu zeigen ist, gehört zum Befund dazu.

Gegenprüfung

Von drei Modellfamilien gegen den Volltext der Quelle gelesen; Befunde und Korrekturen stehen im Protokoll.claude · gemini · grokPrüfprotokoll zu dieser Notiz →