Wo die Frage steht, entscheidet mit, wer sie beantworten kann

Die Aufgabe ist so klein, dass man zögert, sie eine Aufgabe zu nennen: Gegeben sind n Bits und eine Nummer. Ausgegeben werden soll das Bit an dieser Stelle. Nachschlagen, mehr nicht.

Gerade daran wird etwas sichtbar, das bei größeren Aufgaben im Rauschen untergeht. Es macht nämlich einen Unterschied, an welcher Stelle der Eingabe die Nummer steht.

Steht sie am Ende, hinter den Bits, muss ein Modell die ganze Folge durch seinen Zustand schleusen, bevor es überhaupt erfährt, welches Bit gefragt ist. Wie viel dabei überlebt, hängt an einer Größe, die die Arbeit neu einführt und Kausal-Komplexität nennt – dem kleinsten Aufwand, mit dem sich das bisher Gelesene so zusammendrücken lässt, dass der nächste Schritt daraus noch mit wenigen Rechenoperationen folgt. Auf die Billigkeit dieser Restrechnung kommt es an. Für maskierte lineare Aufmerksamkeit, für Zustandsraummodelle und für rekurrente Netze bleibt diese Größe klein, und daraus folgt eine Unmöglichkeit: Mit konstant vielen Schichten dieser Bauart ist die Aufgabe nicht zu lösen. Ein Softmax-Transformer schafft sie mit einer einzigen – was allerdings schon aus einer früheren Arbeit bekannt war. Neu ist die andere Hälfte: Nicht die Linearität ist der Flaschenhals, sondern die Maskierung. Ohne sie genügen zwei Schichten linearer Aufmerksamkeit.

Steht die Nummer dagegen am Anfang, kehrt sich die Rangfolge um. Ein rekurrentes Netz genügt mit einer Schicht: Es behält die Nummer, zählt mit und schreibt an genau der Stelle ab. Alle übrigen brauchen zwei – der Softmax-Transformer scheitert einschichtig bei jeder geprüften Länge.

Die Beweise hängen nicht an der Rechengenauigkeit. Sie gelten auch für Modelle, die mit reellen Zahlen unbeschränkter Präzision rechnen, und schneiden damit die bequeme Auskunft ab, so etwas sei ein Rundungsproblem.

Zur Kontrolle wurde auf vier Längen zwischen 8 und 64 Bits trainiert, mit fünf Anläufen je Aufbau; als Erfolg zählt, wer auf dem Prüfsatz irgendwann im Lauf des Trainings fehlerfrei wird. Die Konfigurationen mit passender Konstruktion bestehen 158 von 160 Läufen. Auf der schweren Seite fällt der Anteil von 70 von 75 bei acht Bits auf null bei vierundsechzig.

Was dagegen spricht¶

Die Unmöglichkeit gilt für Schichten, deren Größe langsamer wächst als jede Potenz der Eingabelänge – logarithmisch wachsende fallen also darunter, erst polynomiales Wachstum entkommt. Für mehrschichtige Softmax-Transformer mit unbeschränkter Präzision existiert weiterhin keine untere Schranke, und die Autoren führen das ausdrücklich als offen. Mamba mit Normalisierungsschicht lässt sich in ihrem Rahmen nicht ohne Weiteres behandeln, weil die Quadratwurzel in dem zugrunde gelegten Rechenmodell nicht vorgesehen ist; einen Weg dorthin nennen sie selbst und lassen ihn nur wegen des Aufwands weg. Zum Trainingsteil stellen sie zweimal dasselbe Paar hin: Ein gescheiterter Lauf beweist keine Unmöglichkeit, und ein Erfolg bei kleiner Länge widerspricht keiner asymptotischen Schranke. Dass ein Modell auf dem endlichen Prüfsatz fehlerfrei wird, heißt zudem ausdrücklich nicht, dass es die Aufgabe für jede Eingabe löst. Was dort besteht, gilt überdies kaum über die trainierte Länge hinaus: Auf doppelter Länge liegen dieselben Aufbauten durchweg am Zufallsniveau, auf halber nur dann, wenn lang trainiert wurde – beim kleinsten Trainingsmaß liegen sie dort noch darüber – was die Autoren auch nicht anders erwartet hatten; ihre Erklärung dafür, die gelernte Lösung hänge an den im Training gesehenen Positionen statt an einer längenunabhängigen Regel, führen sie ausdrücklich als Vermutung. Und wie zuverlässig die lösbaren Fälle lernen, hängt an der Positionskodierung – die polynomiale zeigt die stärkste Übereinstimmung mit der Theorie, bleibt aber auch nicht ganz ohne Ausreißer.

Warum das hier steht¶

Weil hier eine Grenze steht, die kein Training verschiebt und keine Datenmenge auffüllt. Und weil die geläufige Frage, welche Architektur die bessere sei, an dieser winzigen Aufgabe als schlecht gestellt sichtbar wird: Dieselben Modelle tauschen die Plätze, sobald man nur verschiebt, wo die Frage steht.

Gegenprüfung

Von drei Modellfamilien gegen den Volltext der Quelle gelesen; Befunde und Korrekturen stehen im Protokoll.claude · gemini · grokPrüfprotokoll zu dieser Notiz →