Der Mond ist auch da, wenn keiner hinsieht – Weltmodelle offenbar nicht

Eine Katze sitzt auf dem Boden. Der Prompt lautet: „Im Schlafzimmer springt eine Katze aufs Bett." Die Kamera dreht sich weg, sieht sich kurz woanders um und kommt zurück. Wo ist die Katze?

Die Antwort sollte offensichtlich sein. Sie ist es nicht – jedenfalls nicht für die 23 Videomodelle, die dieses Paper geprüft hat. Mal sitzt die Katze bei der Rückkehr noch da, wo sie war. Mal ist sie mit der Kamera mitgewandert und hat das Bild nie verlassen. Mal ist sie verschwunden. Mal ist sie zweimal da.

„Ich stelle mir gern vor, dass der Mond auch dann da ist, wenn ich nicht hinsehe." – Einstein, als Motto über dem Paper

Genau das ist der Anspruch, an dem die Autoren Weltmodelle messen wollen. Ein Modell, das diesen Namen verdient, soll nicht überzeugende Einzelbilder auf Abruf erzeugen, sondern einen inneren Zustand führen, der unabhängig von der Beobachtung weiterläuft. Dinge sollen fortdauern, angefangene Ereignisse zu Ende gehen – ob eine Kamera zusieht oder nicht.

Bestehende Benchmarks prüfen Bildqualität, Bewegung und Kamerasteuerung – Oberflächeneigenschaften des sichtbaren Bildes. Zwei jüngere prüfen immerhin, ob Vorgänge eine Beobachtungslücke überdauern; die Autoren nennen sie selbst als nächste Verwandte. Was vor ihnen keiner tut: die Kamerabewegung systematisch als Eingriff auf die Beobachtbarkeit einsetzen. Der Blickwechsel verändert nur den Beobachtungswinkel, nicht das Geschehen. Was danach im Bild ist, verrät, ob es dahinter überhaupt etwas gibt.

Quer durch 9.600 Videos aus vier verschiedenen Steuerungsparadigmen bleibt ein Befund hartnäckig: Die Systeme führen die Welt wie eine Kamerafahrt. Ein zurückkehrendes Objekt wird in dem Zustand wieder aufgenommen, in dem es verlassen wurde – nicht in dem, den es inzwischen erreicht haben müsste. Ein verlässliches Weiterlaufen im Unbeobachteten gibt es nicht, es gibt eine Fortsetzung des letzten Blicks.

Und der Fehler geht nicht durch Skalierung weg. Dasselbe Modell, von 1,3 auf 14 Milliarden Parameter vergrößert, wird darin nicht besser. Der Wert für den wiederbeobachteten Zustand sinkt sogar leicht, von 0,66 auf 0,62 – auf einer Skala von null bis eins, auf der höhere Werte besser sind. Gut zehnmal so viel Modell, und die Katze sitzt danach nicht seltener am falschen Platz.

Ein anderes System erreicht unter den steuerbaren Modellen Spitzenwerte bei der räumlichen Konsistenz im Sichtbaren, 0,874, und bei der Konsistenz des Zustands, 0,719 – nur seine eigene Schwestervariante liegt mit 0,876 und 0,735 noch knapp darüber. Und es liegt in derselben Gruppe bei der Frage, ob es die angeforderte Kamerabewegung überhaupt ausführt, mit 0,468 auf dem letzten Platz. Sauberere Bilder, engere Kontrolle, mehr Parameter: nichts davon erzeugt einen fortlaufenden Weltzustand.

Damit steht nicht ein Detail zur Debatte, sondern die Zielgröße selbst. Nicht die Frage, wie das nächste Bild aussieht, sollte im Zentrum stehen, sondern die, wie sich die Welt entfaltet – und die Stabilität dieses Zustandskerns gehört zu den erstrangigen Entwurfszielen, nicht zu den Nebenwirkungen.

Was dagegen spricht¶

Der Skalierungsbefund ruht auf Vergleichen innerhalb einer Modellfamilie, und die Autoren nennen ihn selbst eine familieninterne Diagnose, keine allgemeine Kapazitätsregel. Der naheliegende Einwand, die auswertbaren Teilmengen seien ungleich – beim kleinen Modell 13,8 Prozent der Läufe, beim großen 18,2 –, steht im Raum, und das Papier räumt ihn nicht aus. Es zeigt an anderer Stelle etwas Verwandtes: Über die beiden gut abgedeckten Schwenkrichtungen hinweg verdreifacht sich der auswertbare Anteil, ohne dass sich der Zustandswert um mehr als ein Hundertstel bewegt – das betrifft die Kameraachse, nicht die Modellgröße. Was ebenfalls fehlt, sind Angaben zu Wiederholungs-Generierungen je Prompt; die Zahl der bewerteten Läufe schwankt zudem stark, bei den beiden auffälligsten Zeilen liegt sie bei rund dreißig.

Die dünnste Stelle weist das Papier selbst aus: Die besten Zustandswerte entstehen dort, wo nur wenige Läufe überhaupt bewertbar waren – beim Gruppenbesten der steuerbaren Modelle 6,4 Prozent. Die Autoren markieren solche Werte eigens. Was sie ausdrücklich als begründeten Vorschlag und nicht als belegtes Ergebnis einstufen, ist der Ausweg, den sie daraus ableiten: erst auf langen Horizonten Beständigkeit lernen, dann eine kürzere, steuerbare Kamerabewegung darauflegen.

Warum das hier steht¶

Weil hier ein Benchmark die Kamerabewegung zum ersten Mal systematisch als Eingriff auf die Beobachtbarkeit einsetzt – und weil die Antwort eine Menge über den Unterschied zwischen Darstellung und Modell sagt, geprüft an der Objektpermanenz.

Gegenprüfung

Von drei Modellfamilien gegen den Volltext der Quelle gelesen; Befunde und Korrekturen stehen im Protokoll.claude · gemini · grokPrüfprotokoll zu dieser Notiz →