Nicht die Datenmenge entscheidet, was ein Weltmodell lernt

Die Gründungsannahme der Weltmodelle ist bequem: Wer gezwungen wird, die Zukunft vorherzusagen, muss sich die Physik seiner Umgebung aneignen. Alles Weitere ist dann eine Frage der Datenmenge.

Der Test dazu ist eine Spielzeugwelt: Ein Finger stößt ein Objekt an, dessen Masse, Bremsrate und Kontaktsteifigkeit in jeder Episode neu ausgewürfelt werden. Angesehen wird ihm nichts – das Objekt wird in jeder Episode gleich dargestellt, verhält sich aber sichtbar anders. Entscheidend ist der zweistufige Aufbau: Erst wird nachgewiesen, dass sich ein Wert aus den Rohdaten überhaupt rekonstruieren lässt – sonst wäre ein Nullergebnis später nur ein Vorwurf an die Umgebung. Dann erst wird nachgesehen, ob er in der Repräsentation angekommen ist.

Der Kern des Befunds lässt sich an einem einzigen Vergleich ablesen. Bekommt das Modell den Tastsinn als Eingabe, weiß es über die Steifigkeit nichts – der Wert liegt bei null, auf einer Skala, auf der 1,0 hieße: vollständig aus der Repräsentation zurückgewinnbar. Muss es den Tastsinn vorhersagen, ohne ihn je zu sehen, steigt er auf 0,40. Und es liegt nicht daran, dass mehr Arbeit hilft: Eine gleich große Zusatzaufgabe auf die Fingerstellung lässt die Steifigkeit unberührt. Es kommt darauf an, wovon die Antwort der Zusatzaufgabe abhängt.

Am schärfsten wird es bei der Bremsrate. Dass sie sich zurückgewinnen lässt, ist belegt – mit 0,89 allerdings von einem physikinformierten Schätzer auf Zustandsdaten der Simulation, zu denen der privilegierte Objektzustand gehört; aus bildabgeleiteten Größen sind es 0,43. Im Modell selbst bleibt sie bei 0,13 hängen, unter jedem der sechs getesteten Eingriffe auf der Vorhersageseite. Setzt man dann denselben Rumpf ein, dieselben Daten, denselben Optimierer, und fragt lediglich per zusätzlichem Kopf direkt danach, springt der Wert auf 0,45 – ohne dass die Vorhersagequalität leidet. Die Information stand also weitgehend zur Verfügung, und es hat nur nie jemand gefragt. Vollständig eingesammelt wird sie auch dann nicht: Zwischen den 0,45, die das Fragen bringt, und den 0,89 des Zertifikats bleibt eine Lücke, die die Autoren dem Rumpf und der Länge der Vorgeschichte zuschreiben.

Dasselbe Muster am echten Roboter. Ein Modell, das die gemessene Kraft als Eingabe bekommt, sie aber nie vorhersagen muss, liest sie am Ende bei 0,15 aus – schlechter als ein völlig untrainiertes Netz mit Zufallsgewichten, das 0,91 erreicht. Das Training drückt eine vorhandene Messgröße also aktiv heraus, wenn nichts sie einfordert.

Und die Datenmenge ändert daran nichts: Über den ganzen geprüften Bereich, vom kleinsten bis zum größten Korpus, bleiben die schwachen Varianten flach. Mehr Daten verbessern nur, was das Ziel ohnehin schon einsammelt. Die Zusammensetzung ist eine andere Frage: Trainiert dasselbe Ziel auf Daten mit wenig Kontakt, bricht die Steifigkeit von 0,50 auf 0,05 ein.

Was dagegen spricht¶

Die Modelle haben rund fünf Millionen Parameter und liefen auf einer Laptop-Grafikkarte; eine Größen-Ablation fehlt, es gibt zwei Startwerte je Variante – abgesichert wird stattdessen quer, über zwei Architekturen, zwei Regularisierungsstärken und zwei Sondenfamilien.

Schwerer wiegt eine Grenze, die die Autoren selbst ziehen: Alle geprüften Ziele sind deterministische Punktvorhersagen. Ziele, deren Optimum kein Mittelwert ist, wären der eigentlich unterscheidende Test und liegen außerhalb des Untersuchten – eine Variante, die dem am nächsten kommt, haben sie allerdings mitgeprüft, und sie bewegt die Bremsrate nicht. Am echten Roboter gibt es keine wahren Objektparameter, dort werden nur die Mechanismen geprüft, nicht der Befund selbst.

Und die Zahlen hängen an ihrem Betriebspunkt stärker, als sie aussehen: Allein über die Stärke des Regularisierers schwankt die Steifigkeit zwischen 0,12 und 0,57. Die Autoren stellen ihre Blindstelle deshalb ausdrücklich als Hypothese unter diesen Beobachtungskoordinaten auf, nicht als Struktursatz – und was ein Modell aufnimmt, ist eine Eigenschaft des Paars aus Größe und Sensor, nicht der Größe allein.

Warum das hier steht¶

Weil „mehr Daten" die Standardantwort auf fast jede Schwäche ist und hier ein Fall vermessen wird, in dem sie nichts ausrichtet. Wer wissen will, was ein Modell später kann, sollte weniger auf den Korpus schauen und mehr darauf, wonach beim Training eigentlich gefragt wurde.

Gegenprüfung

Von drei Modellfamilien gegen den Volltext der Quelle gelesen; Befunde und Korrekturen stehen im Protokoll.claude · gemini · grokPrüfprotokoll zu dieser Notiz →