Das beste Bild liefert der Speicher, der nie gelesen wird

Ein Videomodell soll eine Szene erzeugen, durch die sich eine Kamera bewegt. Sie dreht sich weg, filmt eine Weile etwas anderes und kommt zurück. Steht der Gegenstand dann noch da, wo er war? Ist es überhaupt derselbe Gegenstand? Das ist keine Frage der Bildqualität, sondern eine des Gedächtnisses – und man bemerkt sie nur, wenn man danach sucht.

Die Arbeit hält fest, was sonst mitwandert: denselben Videorumpf, denselben Optimierer, dieselbe Kameradarstellung, denselben Abtaster, dieselbe Auswertung. Variiert wird, wie die Vorgeschichte abgelegt und wieder gelesen wird – mit einer Ausnahme, die in der Tabelle steht und die man kennen muss: Der Aufbau mit einem einzigen Ankerbild lief mit doppelter Lernrate. Jedes Trainingsstück umfasst 81 Bilder.

Der aufschlussreichste Eintrag steht in der Nebenreihe, die nur den Zugriff verändert. Dort legt eine Variante ihre Zusammenfassung der Szene brav ab und liest sie nie wieder – der Zugriff ist abgeklemmt. Trotzdem erreicht sie mit 14,66 die beste Bildtreue dieser Reihe, auch gegenüber den Varianten mit funktionierendem Zugriff. Ein Speicher, den niemand benutzt, lässt die Bilder ordentlicher aussehen als einer, der benutzt wird.

Die einfachste mit den übrigen Messungen verträgliche Erklärung, schreiben die Autoren, sei unbequem: Die räumliche Zusammenfassung arbeite in dieser Größenordnung überhaupt nicht als Gedächtnis, sondern als zusätzlicher Kanal beim Training, der das Netz glättet.

In der Haupttabelle setzt sich das fort. Dort hält die räumliche Zusammenfassung den besten Schärfewert der Bildtreue – die beiden übrigen Bildmaße gehen an den langen Rohkontext – und mit 6,00 zugleich den schlechtesten Wert der Rückkehrprüfung. Die Bauart mit blockweiser Rekurrenz steht genau umgekehrt da: Ihre Bildtreue von 9,59 liegt am unteren Ende, in der Rückkehrprüfung kommt sie auf 69,00. Dieselbe Anordnung, dieselben Voraussetzungen, entgegengesetztes Urteil – je nachdem, welche Spalte man aufschlägt.

Auch schlichte Menge hilft, aber nicht linear. Von einem einzigen Ankerbild auf fünf gespeicherte Bilder steigt die Rückkehrprüfung um 38,50 Punkte – bei diesem Schritt ändert sich allerdings auch die Lernrate mit; wie viel des Sprungs auf die Bildzahl entfällt, lässt sich daher nicht trennen. Die Erweiterung auf zwanzig, bei der nur die Menge wächst, bringt nur noch 7,88 dazu.

Was dagegen spricht¶

Jede Zeile der Rückkehrprüfung ruht auf acht Fällen. Die Autoren schreiben selbst, dass Unterschiede unter etwa fünf Punkten in dieser Spalte nicht gedeutet werden sollten – das trifft einige, wenn auch nicht die großen Abstände. Bewertet wird von einem bildlesenden Sprachmodell; eine Gegenprobe auf einer geschichteten Teilmenge, mit anderen Prüfern und einem menschlichen Vergleichswert, bleibt zwischen den Prüfern über 0,90 korreliert, ersetzt aber keine breite Kalibrierung, und genau das räumen sie ein. Alles beruht auf einem Datensatz und einem Trainingsbudget, weshalb sie ihre Rangfolge ausdrücklich als matrixintern bezeichnen und nicht als allgemeine Aussage darüber, welches Gedächtnis das beste sei.

Warum das hier steht¶

Weil hier nicht ein neues Verfahren vorgestellt wird, sondern eine Anordnung, in der sich Prüfmaße gegenseitig widerlegen – und weil das Ergebnis den bequemsten Messwert entwertet. Bildtreue ist billig zu erheben und wird deshalb überall berichtet; dass sie fürs Behalten einer Szene nicht hinreicht, kostet den Rest der Tabelle.

Gegenprüfung

Von drei Modellfamilien gegen den Volltext der Quelle gelesen; Befunde und Korrekturen stehen im Protokoll.claude · gemini · grokPrüfprotokoll zu dieser Notiz →