Spitzenmodelle lösen Olympiade-Aufgaben und verrutschen beim Abschreiben

Die Autoren stellen ihre Frage selbst, und sie ist unangenehm: Wenn ein Modell Medaillen-Niveau in Olympiade-Mathematik erreicht, warum sollte man ihm dann nicht zutrauen, eine Zeichenfolge fehlerfrei abzuschreiben?

Genau das prüfen sie. Fünf Spitzenmodelle – GPT-5.5, Claude Opus 4.7, Gemini 3.1 Pro, DeepSeek V4 Pro und Qwen 3.6 Plus – bekommen eine Folge aus zwei sich wiederholenden Symbolen und sollen sie identisch zurückgeben. Die Eingaben sind zwischen 128 und gut 4.000 Token lang, liegen also bequem im Kontextfenster.

Trotzdem gibt keines der fünf die Folge verlässlich zurück: Jedes verrutscht bei einem beträchtlichen Teil der Durchläufe, und mit wachsender Länge fällt die Trefferquote laut Papier „oft deutlich unter 50 Prozent". Ein offenes Modell nachträglich auf genau diese Aufgabe zu trainieren, half nicht.

Die Erklärung der Autoren ist eine Vermutung, aber eine gut belegte: eine Abkürzung. Um Zeichen Nummer k zu kopieren, kann ein Modell zwei Wege gehen – die Position bestimmen und dort nachsehen, oder sich merken, welche Symbole zuletzt kamen, diese Umgebung in der Eingabe wiederfinden und das nächste übernehmen. Der zweite Weg ist billiger und meistens richtig. Er ist aber im Allgemeinen kein korrektes Verfahren: Wo sich Muster vielfach wiederholen, gibt es mehrere passende Umgebungen, und das Modell findet die richtige Stelle womöglich nicht mehr. Der Kontrollversuch zeigt es an drei der fünf Modelle und allen vier Musterlängen – je intakter die Wiederholungen in der Eingabe, desto niedriger die Genauigkeit.

Dass die Abkürzung so verlockend ist, liegt an der Positionskodierung. Sie beschreibt Abstände zwischen Symbolen. Beim Kopieren ist der Abstand zwischen Original und Kopie aber nicht fest, sondern hängt davon ab, wie lang die Eingabe insgesamt war – für eine Kodierung, die feste Abstände sauber darstellt und längenabhängige nur mühsam, ist das die unbequeme Rechnung.

Der Vorschlag der Autoren kippt die Perspektive: Text nicht als eine lange Zeile lesen, sondern am Zeilenumbruch in ein Raster schneiden. Jedes Symbol bekommt eine Zeilen- und eine Spaltennummer, und Abschreiben heißt dann nur noch: nimm das Zeichen, das direkt über dir in derselben Spalte steht.

Ein winziges Modell mit dieser Kodierung, eigens auf die Kopieraufgabe trainiert, arbeitet fehlerfrei bei Eingaben, die das Tausendfache seiner Trainingslänge erreichen. Auch bei einem groß vortrainierten Modell mit 1,4 Milliarden Parametern hält der Vorsprung – und zwar nach genau dem Nachtraining, das dem bestehenden Modell nicht half. Gemessen an Eingaben von 4.096 Token – dem Vierfachen der längsten Folge, die das Modell je abschreiben musste – gibt die neue Kodierung in 92,0 Prozent der Fälle die Folge exakt wieder; die übliche kommt auf 0,0 Prozent. Das ist kein Vorsprung, das ist der Unterschied zwischen können und nicht können.

Und es kostet an anderer Stelle fast nichts: Im Mittel über acht Standardtests zum Alltagswissen liegen beide Kodierungen dicht beieinander, beim 1,4-Milliarden-Modell knapp einen Punkt zugunsten der neuen. Beim kleinsten geprüften Modell kehrt sich das um, dort liegt sie einen Punkt zurück.

Eine Fähigkeit, die niemand als Fähigkeit gezählt hat, war die ganze Zeit eine Frage der Perspektive.

Was dagegen spricht¶

Die Aufgabe ist bewusst schwer gebaut. Die Testfolgen sind nicht beliebig, sondern enthalten absichtlich wiederholte Abschnitte – also genau das, woran die Abkürzung scheitert. Über das Abschreiben gewöhnlicher Texte sagt der Befund damit weniger, als die Zuspitzung vermuten lässt.

Das Verfahren lebt zudem vom Zeilenumbruch: Enthält der Text kaum welche, ändert sich die Zeilennummer selten und das Raster fällt praktisch auf die alte Kodierung zurück. Die Autoren schreiben das selbst – und schlagen im selben Abschnitt eine Variante vor, die sich ihr Raster ohne Umbrüche selbst sucht.

Das größte eigene Modell hat 1,4 Milliarden Parameter und wurde auf 28 Milliarden Token trainiert; der datenreichste Lauf ist ein kleineres Modell auf 100 Milliarden. Beide liegen weit unter den Modellen, gegen die argumentiert wird. Und die berichteten Zahlen sind ein Kompromiss: Bei anderer Lernrate steigt die Kopiergenauigkeit eines kleineren Modells von 69,2 auf 94,8 Prozent; gewählt wurde die Einstellung, die Kopieren und Alltagswissen zugleich passabel hält.

Warum das hier steht¶

Weil hier jemand eine Aufgabe misst, die für zu einfach gehalten wurde, um sie zu messen – und dabei nahelegt, dass die Schwäche nicht an fehlender Ausdrucksmächtigkeit allein liegt, sondern daran, wohin das Training ein Modell drängt: zur billigeren Abkürzung, obwohl der saubere Weg darstellbar wäre. Wer Zeichenketten aus einer Konfigurationsdatei durch ein Modell schleust, sollte das wissen.

Gegenprüfung

Von drei Modellfamilien gegen den Volltext der Quelle gelesen; Befunde und Korrekturen stehen im Protokoll.claude · gemini · grokPrüfprotokoll zu dieser Notiz →