Das nachgerüstete Gedächtnis macht den trainierten Agenten schlechter

Zwei Verbesserungen, jede für sich unstrittig. Man kann einen Agenten mit bestärkendem Lernen auf seine Aufgabe trainieren. Und man kann ihm ein Gedächtnis anbauen, das Erfahrungen aufbewahrt und im richtigen Moment zurückgibt. Die Reihenfolge scheint gleichgültig – erst trainieren, dann anbauen, das ist der bequeme Weg.

Auf einer Auslieferungsaufgabe bringt schon das Training allein den erwarteten Sprung: Ohne Training wirft der einfachste Aufbau Verlust ab, mit bestärkendem Lernen erwirtschaftet er 5,80 Einheiten Gewinn je Stunde. Der Aufbau mit schrittweisem Schließen kommt trainiert auf 5,62.

Baut man diesem trainierten Aufbau danach ein mehrstufiges Gedächtnis an, fällt der Wert auf 4,03. Bei den beiden anderen geprüften Gedächtnisformen liegt er mit 5,02 und 4,79 ebenfalls nicht höher. Der Zusatz bringt nach dem Training keinen verlässlichen Gewinn mehr; untrainiert zeigen ihn nur zwei der drei Formen, die dritte liegt dort ohnehin im Minus.

Die Autoren bieten dafür eine Vermutung an, unspektakulär und deshalb unangenehm: Eine Strategie, die unter einem bestimmten Eingabeformat optimiert wurde, könne sich auf genau dieses Format einrichten. Kommt später eine zusätzliche Struktur dazu, verschiebt sie die Verteilung der Eingaben – das Modell erkenne darin womöglich keine Hilfe, sondern eine Störung.

Der Gegenbeleg liegt in derselben Tabelle. Ein zweites Trainingsverfahren fasst den bisherigen Verlauf schon während des Lernens alle acht Handlungen zusammen; das Modell übt also von Anfang an mit verdichteter Vorgeschichte. Unter diesem Verfahren kehrt sich das Bild um: Auf demselben Aufbau mit demselben mehrstufigen Gedächtnis steht 7,07 gegen 4,03, bei den beiden anderen 8,27 gegen 5,02 und 6,57 gegen 4,79. Der beste Wert der ganzen Reihe gehört nicht der stärksten nackten Strategie, sondern der Kombination aus mitlernender Verdichtung und Gedächtnis.

Was dagegen spricht¶

Die Zahlen stammen aus einer einzigen Umgebung mit einem einzigen Modell; für andere Aufgaben behaupten die Autoren nichts. Wie oft jede Zelle dieser Tabelle gelaufen ist, steht nicht dabei. Sie nennen selbst, dass sie repräsentative Umsetzungen prüfen statt jede Bausteinfamilie auszureizen, und dass sie aus Rechengründen nicht jede Kombination wiederholen konnten – einzelne Werte könnten also Zufallsschwankung sein. Ihre eigene Formulierung ist zurückhaltender als die hier gewählte: Sie schreiben, die drei Werte lägen unter den einfacheren Aufbauten oder gleichauf, und ein nachträglich angebautes Gedächtnis bringe keinen verlässlichen Zugewinn. Die weitergehende These der Arbeit, Zusammenspiel schlage Einzelstärke, steht im Abstract deutlich stärker als im Fazit.

Warum das hier steht¶

Weil hier eine Reihenfolge Kosten verursacht, die niemand einplant. Wer Bausteine nacheinander optimiert, prüft jeden gegen den Zustand davor – dass ein späterer den früheren entwerten kann, fällt in dieser Arbeitsweise systematisch heraus.

Gegenprüfung

Von drei Modellfamilien gegen den Volltext der Quelle gelesen; Befunde und Korrekturen stehen im Protokoll.claude · gemini · grokPrüfprotokoll zu dieser Notiz →