Ein Prozent der Richtungen trägt den ganzen Gewinn

Die Frage, wie stark eine On-Policy-Destillation die Gewichte eines Modells umschreibt, hat im Sommer 2026 zwei Gruppen gleichzeitig beschäftigt. Diese hier sitzt in Nanjing und bei Alibaba, misst an zwölf Modellpaaren statt an einer Familie und nimmt Bild-Sprach-Modelle dazu. Sie zitiert die andere Arbeit nicht, und die andere zitiert sie nicht – zwei Zugänge, kein Nachbau.

Der erste Befund ist ein Größenunterschied. In einem der gemessenen Paare – beide Läufe starten vom selben Ausgangsmodell – verändert das überwachte Nachtrainieren die Gewichte um 0,83 Prozent ihrer Länge, die Destillation um 0,05 Prozent. Über 83 Prozent der einzelnen Zahlen bleiben dabei unterhalb der Sichtbarkeitsschwelle unangetastet, gegenüber 27 Prozent beim überwachten Verfahren.

Dieses Paar führt die Arbeit ausdrücklich als Beispiel, und der Abstand schrumpft, wenn man ein anderes Lehrermodell nimmt: gut 69 gegen 29 Prozent. Die Richtung bleibt über alle sechs untersuchten Destillationsläufe dieselbe. Dichte Betreuung erzeugt gerade keine dichte Änderung.

Verteilt ist diese winzige Änderung trotzdem: Alle größeren Gewichtsmatrizen des Netzes bekommen sichtbare Einträge, kein Modul sticht durchgehend heraus. Es ist also nicht so, dass die Destillation eine bestimmte Stelle des Modells nachbessert. Sie schreibt überall ein bisschen – und dieses bisschen zeigt in wenige Richtungen.

Ob das mehr ist als eine hübsche Statistik, prüfen die Autoren zweimal. Erst nehmen sie die Liste der Koordinaten, die der volle Lauf angefasst hat, starten neu vom Ausgangsmodell und erlauben nur diesen Koordinaten, sich zu bewegen. Der beste erreichte Wert liegt mit 35,1 Prozent im Mittel über sechzehn Versuche je Mathematikaufgabe knapp unter dem vollen Lauf mit 35,5 Prozent – und deutlich über einer zufällig gewählten Maske gleicher Dichte. Bei einem Bild-Sprach-Modell dieselbe Reihenfolge.

Der zweite Test ist der schärfere. Von jeder Änderungsmatrix behalten sie nur das oberste Prozent der Hauptrichtungen, skalieren es auf die ursprüngliche Länge zurück und setzen sonst nichts. Das genügt: Der so zusammengestutzte Eingriff holt den vollen Zugewinn ein. Derselbe Handgriff, auf das überwachte Nachtrainieren angewandt, zerstört das Modell – es fällt auf unter zwei Prozent und damit weit unter seinen eigenen Ausgangspunkt. Zwei Verfahren, ein Eingriff, entgegengesetztes Ergebnis.

Daraus folgt eine Zuordnung, die man sich merken kann. Wer die sparsamen Änderungen des Verstärkungslernens allein der Kargheit seines Belohnungssignals zuschrieb, greift zu kurz: Die Destillation bekommt Rückmeldung zu jedem einzelnen Wort und bleibt trotzdem sparsam. Was beide teilen, ist die Datenquelle – das Modell trainiert auf dem, was es selbst gerade schreibt. Ihre Befunde legen nahe, dass sie ein wesentlicher Faktor ist, nicht der einzige.

Was dagegen spricht¶

Das Bild der Gewichte stammt überwiegend aus dem Vergleich gespeicherter Zwischenstände; wie die Lerndynamik dorthin führt, bleibe offen, schreiben die Autoren selbst. Auch der Kernvergleich ist keine saubere Ein-Größen-Änderung: Die beiden verglichenen Läufe unterscheiden sich in Lernrate, Epochenzahl und Trainingsgerüst, und die Arbeit nennt Optimierer und Trainingsdauer im Anhang ausdrücklich als Größen, die das Bild umkehren können. Dass die gestutzte Rekonstruktion rechnerisch über hundert Prozent des Zugewinns holt, ist keine Verbesserung, sondern die Schwankung einer Auswertung, die pro Aufgabe sechzehnmal würfelt – auch das steht in der Arbeit. Und der schärfste Test hängt an einem einzigen, kleinen Schülermodell mit 1,5 Milliarden Parametern.

Warum das hier steht¶

Zwei Arbeiten, die voneinander nichts wissen, kommen aus verschiedenen Richtungen zur selben Aussage. Das ist der seltenere und tragfähigere Fund – seltener jedenfalls als ein neuer Bestwert, denn niemand baut einen Kanal dafür, dass jemand dasselbe noch einmal misst.

Gegenprüfung

Von drei Modellfamilien gegen den Volltext der Quelle gelesen; Befunde und Korrekturen stehen im Protokoll.claude · gemini · grokPrüfprotokoll zu dieser Notiz →