Wer nachtrainiert, hat den Prüfer schon gebaut

Ein Agent, der eine Aufgabe in dreißig Schritten erledigt, soll unterwegs bewertet werden und nicht erst am Ende. Dafür baut man ein zweites Modell, das jeden Schritt benotet – trainiert auf annotierten Spuren, mit Personal, Rechenzeit und einem weiteren Artefakt, das gepflegt werden will. Genau die Agenten, die diese Zwischenbewertung am dringendsten bräuchten, sind dabei die, für die sie am teuersten ist.

Sechs Autoren aus Madison und dem Argonne National Laboratory behaupten, dieses zweite Modell sei längst da. Es entsteht als Abfallprodukt des Nachtrainings und liegt im Abstand zwischen dem fertigen Modell und dem Stand, von dem aus man es trainiert hat.

Die Rechnung dahinter ist unscheinbar. Man nimmt für jede Handlung des Agenten die Wahrscheinlichkeit, die das nachtrainierte Modell ihr gibt, und hält sie gegen die Wahrscheinlichkeit desselben Modells vor dem Training. Wo der Wert steigt, hat das Training diese Handlung belohnt; wo er fällt, nicht. Was übrig bleibt, ist kein grobes Gefühl: Die Autoren zeigen, dass dieser Abstand genau die Größe ist, die man sonst mühsam schätzt – um wie viel besser eine bestimmte Handlung ist als der Durchschnitt aller Handlungen in dieser Lage. Der Beweis hängt allerdings an einer Voraussetzung, die sich nicht prüfen lässt: Das nachtrainierte Modell muss die Trainingsaufgabe optimal gelöst haben. Für einen veröffentlichten Modellstand ist das eine Annahme, und die Autoren nennen sie selbst kaum widerlegbar.

Der theoretische Beitrag ist die Verallgemeinerung. Frühere Arbeiten hatten Ähnliches gezeigt, aber nur für Umgebungen ohne Zufall. Ein Agent, der ein Werkzeug aufruft oder einen Menschen fragt, bekommt Antworten, die er nicht vorhersehen kann – dort lässt sich die Belohnung nicht mehr zurückrechnen. Der Vergleichswert überlebt trotzdem, und zwar aus einem hübschen Grund: Das Wahrscheinlichkeitsverhältnis saugt die unbekannte Zukunft auf, statt sie wegkürzen zu müssen.

Geprüft wird das an drei Anwendungen; die anschaulichste ist ein Auswahlverfahren: acht Versuche pro Aufgabe, einer wird gewählt, gezählt wird die Erfolgsquote. Über vier Benchmarks kommt das Verfahren bei einem Vier-Milliarden-Modell auf 38,8 Prozent gegenüber 33,6 für die beste Vergleichsmethode.

Der Geltungsbereich ist enger, als der Titel des Papiers vermuten lässt: Modelle zwischen vier und vierzehn Milliarden Parametern, Benchmarks mit 50 bis 200 Aufgaben, ausschließlich textbasierte Werkzeug-Agenten. Und der Vorsprung stammt gegenüber dieser Vergleichsmethode fast vollständig aus einem der vier Testfelder; ein zweites steuert zwei Punkte bei. Auf einem dritten liegt das Verfahren unter dem simplen Verfahren, immer die wahrscheinlichste Handlung zu nehmen (43,3 gegen 48,5) – dort allerdings auch der bestmögliche der acht Versuche, gleichauf bei 48,5. Kein Auswahlverfahren hätte dort besser abschneiden können; das Problem liegt bei den Versuchen, nicht beim Bewerter.

Was dagegen spricht¶

Die Art, wie die Einzelwerte zu einer Note verrechnet werden, wurde aus 25 Varianten je Datensatz und Grundmodell als die jeweils beste ausgewählt. In der Ablation gilt das auch für die beiden Bestandteile, gegen die das Verfahren dort antritt – insoweit steht Bestwert gegen Bestwert. Die übrigen Vergleichsverfahren treten in dieser Ablation gar nicht an; im Hauptvergleich liefen sie in ihrer Standardeinstellung, allerdings mit an Agentenspuren angepassten Vorlagen.

Drei der herangezogenen Belohnungsmodelle stammen aus Mathematik- und Chatbot-Daten und rutschen in einzelnen Auswertungsszenarien unter das Zufallsniveau – unter ihnen ausgerechnet jenes, das sonst am besten abschneidet. In der Fluglinien-Domäne bleiben zwei von ihnen auch dann darunter, wenn man über alle vier Grundmodelle mittelt. Das Vergleichsfeld ist damit schwächer, als es klingt. Dagegen hält der Anhang ein Modell, das eigens auf die Zielaufgabe trainiert wurde – gegen dieses fällt das Ergebnis knapp aus: 35,0 zu 33,0.

Ein kommerzielles Modell als Schiedsrichter bleibt in einer der beiden Kundendienst-Domänen deutlich vorn – in der anderen liegt das Verfahren ebenso deutlich vor ihm. Und gespart wird nur das Training, nicht der Speicher: Zur Laufzeit müssen beide Modellstände gleichzeitig vorgehalten werden, beim größten geprüften Modell an die sechzig Gigabyte.

Warum das hier steht¶

Dritter Teil der Reihe. Im ersten stand, dass ein besserer Prüfer den Schüler schlechter machen kann; hier wird der eigens trainierte Prüfer entbehrlich. Das ist die Zuspitzung: Nicht nur taugt das aufwendig gebaute Bewertungsmodell weniger als gedacht – ein brauchbares Signal lag die ganze Zeit ungenutzt im Trainingsprozess. Entbehrlich heißt nicht wertlos: Trainiert man zusätzlich auf die Zielaufgabe, wird auch dieses Signal noch einmal schärfer.

Überflüssig wird allerdings nicht der Bewerter, sondern nur sein Training, und selbst das nur, solange jemand die Zwischenstände veröffentlicht, aus denen er sich zusammensetzen lässt.

Gegenprüfung

Von drei Modellfamilien gegen den Volltext der Quelle gelesen; Befunde und Korrekturen stehen im Protokoll.claude · gemini · grokPrüfprotokoll zu dieser Notiz →