Der bessere Prüfer richtet den größeren Schaden an

Ein Modell verbessert sich selbst, indem ein zweites seine Ausgaben bewertet – solche Prüfmodelle heißen im Englischen verifiers. Die stillschweigende Annahme: besserer Prüfer, besserer Schüler. Sie hält nicht.

Der Aufbau ist Standard in der Produktion: Ein eingefrorener Verifier bewertet mehrere Kandidatenausgaben, die beste und die schlechteste bilden ein Präferenzpaar, damit wird trainiert. Wiederholen. Das funktioniert – solange der Verifier die Aufgabe versteht.

Auf MathVista tut er das. Auf MMMU fällt seine Beurteilungsgenauigkeit – der Anteil der Aufgaben, bei denen sein Urteil mit dem aufgabeneigenen Bewerter übereinstimmt – auf 8 bis 23 %. Dieselben Prüfer, dieselbe Leiter, anderer Aufgabentyp. In diesem Bereich verschlechtert jeder einzelne getestete Verifier den Schüler unter dessen eingefrorenen Ausgangswert – um 3,4 bis 10,9 Prozentpunkte. Auf einem zweiten Schülermodell reproduziert – dort mit drei der vier Prüfer und in engerer Spanne.

Der eigentliche Stachel steckt im Nebensatz: Der Trainingsverlust fällt dabei weiter. Auf dem Monitor sieht der Lauf aus wie ein Lauf, der lernt. Im Trainingsverlauf zeigt sich nichts, woran man den Schaden erkennen könnte, solange man nicht die Zielaufgabe selbst misst.

Dann wird es kontraintuitiv. Im Fehlerbereich ist der Schaden konfidenz-invertiert: Der Verifier am oberen Ende dieser Spanne, der bei 23,3 % der Aufgaben richtig urteilt, zieht den Schüler um 10,9 Prozentpunkte herunter – der am unteren Ende, also praktisch ein Würfel, nur um 3,4. Wer halb richtig liegt, richtet mehr an als wer würfelt. Die Erklärung des Autors – im Papier ein Theorem mit Spielzeug-Validierung, ausdrücklich keine quantitative Brücke zu den Messwerten: Ein Verfahren, das nach Fortschritt filtert, verstärkt selbstbewusst falsche Präferenzpaare, während echtes Rauschen sich weitgehend selbst aufhebt.

Drei Empfehlungen zum Schluss, alle drei unspektakulär und deshalb vermutlich übergangen: die Beurteilungsgenauigkeit für die konkrete Aufgabe messen, bevor irgendeine Selbstverbesserungsschleife startet. Verifier nach Aufgabenqualität ranken, nicht nach Parameterzahl. Und abflachende Gewinne im funktionierenden Bereich als Budgetgrenze lesen, nicht als Aufforderung, den Prüfer größer zu machen.

Der Geltungsbereich ist ehrlich abgesteckt: Verifier zwischen 3 und 8 Milliarden Parametern, Schüler mit 2 bis 3 Milliarden, alles auf einem einzelnen GPU-Knoten. Über 30 Milliarden wird nichts behauptet. Das macht den Befund für alle interessant, die genau in diesem Bereich arbeiten – also für die meisten außerhalb der großen Labore.

Was dagegen spricht¶

Alle Prüfer und beide Schüler stammen aus derselben Modellfamilie. Als „fragilste" seiner Aussagen stuft der Autor dabei selbst ein, dass sich die Genauigkeits-Rangfolge auf andere Familien überträgt – die Messmethode dagegen erwartet er als architekturunabhängig übertragbar. Die Kernzahlen zu MMMU beruhen auf 150 Aufgaben bei zwei Durchläufen je Zelle, ohne Signifikanztest; ausgerechnet diese Kopftabelle führt keine Streuungsangaben, die Wiederholungstabelle dagegen schon. Was der Autor einschränkt, ist nicht die Konfidenz-Inversion selbst – im Schluss beansprucht er sie für beide Schüler –, sondern ihre Deutung: Sie sei qualitative Evidenz für das Theorem, keine quantitative Brücke. Beim zweiten Schüler trägt sie nur zur Hälfte: Der Prüfer mit der höchsten Genauigkeit schadet auch dort am meisten, aber die beiden schwächsten kehren die Reihenfolge um – sie unterscheiden sich in der Genauigkeit um weniger als einen Prozentpunkt, und ihr Abstand im Ergebnis bleibt kleiner als die jeweils angegebene Streuung. Auch die Empfehlung, abflachende Gewinne als Budgetgrenze zu lesen, stützt sich allein auf MathVista; eine quantitative Übertragung auf andere Aufgaben hält der Autor durch die Daten für nicht gedeckt. Und aus der Tabelle, die sie trägt, ist genau die Zeile herausgenommen, die das Muster bricht: Der auf MathVista schwächste Prüfer der Leiter – seine Genauigkeit liegt unter dem Ausgangswert des Schülers und damit unter der Schwelle, die der Autor selbst als vorsichtige Einsatzgrenze nennt – erzielt dort trotzdem einen deutlichen Gewinn. Der Autor legt das im Anhang offen und trägt die Zeile nach. Die Genauigkeit taugt als Warnsignal, nicht als Vorhersage.

Warum das hier steht¶

Weil hier ein Fehler beschrieben wird, der sich nicht anfühlt wie ein Fehler: Die Kurve sieht richtig aus, das Ergebnis ist schlechter. Und weil „größer ist besser" hier nicht trägt: Der neuere, kleinere Prüfer urteilt auf allen drei geprüften Aufgaben genauer als der ältere, größere. Die Empfehlung der Autoren zieht daraus die nüchternste Konsequenz: Prüfer nach ihrer Rubrik-Genauigkeit ordnen, nicht nach der Parameterzahl.

Gegenprüfung

Von drei Modellfamilien gegen den Volltext der Quelle gelesen; Befunde und Korrekturen stehen im Protokoll.claude · gemini · grokPrüfprotokoll zu dieser Notiz →