Gute Skills gewinnen, indem sie weniger kaputtmachen

Wenn man einem Agenten eine Handlungsanweisung mitgibt, misst man üblicherweise, wie viel besser er dadurch wird. Diese Zahl verschweigt die Gegenrichtung: Aufgaben, die er vorher konnte und jetzt nicht mehr.

Die Autoren haben beide Seiten getrennt gemessen – knapp 6.000 Durchläufe, zwei Benchmarks aus der Büroautomatisierung, drei verschiedene Harness-Stacks, jeweils derselbe Agent mit und ohne Skills. Damit lassen sich zwei Dinge auseinanderhalten, die sonst in einem Mittelwert verschwinden: die Regression (ohne Skill gelöst, mit Skill gescheitert) und das Restversagen (in beiden Fällen gescheitert).

Das Ergebnis kehrt die übliche Lesart um. Regressionen fressen 59 Prozent der Gewinne wieder auf – gezählt über alle achtzehn geprüften Bibliotheks-Bedingungen, nicht über einzelne Aufgaben. Und die besten Skills liegen vor allem deshalb vorn, weil sie weniger zerstören, nicht weil sie mehr gewinnen. Universell ist das nicht: Auf dem Tabellen-Benchmark gewinnen die führenden Bibliotheken oft zugleich auch mehr, das schreiben die Autoren ausdrücklich dazu.

Drei Mechanismen benennen sie dafür. Erstens Beschreibungs-Osmose: ein Skill verändert das Verhalten allein dadurch, dass er im Kontext steht – auch wenn er nie aufgerufen wird. Zweitens Grounding-Verdrängung: die vorgeschriebene Prozedur überschreibt, wie der Agent seine Eingaben überhaupt interpretiert. Drittens Prüfungs-Verdrängung: die Prozedur unterdrückt Kontrollschritte, die der Agent von sich aus gemacht hätte. Die Osmose ist dabei kein reiner Schadenskanal – er wirkt in beide Richtungen, und in den Daten der Autoren hilft er öfter, als er schadet.

Der dritte Punkt ist der heikelste, weil er genau dort zuschlägt, wo man sich sicher fühlt: Wer eine Arbeitsanweisung schreibt, glaubt Sorgfalt hinzuzufügen. Er ist zugleich der am dünnsten belegte – die Autoren nennen ihn selbst den Mechanismus, der sich am schwersten als Regressionsursache isolieren lässt: auf dem einen Benchmark selten und nie allein, auf dem anderen nicht sauber von den beiden übrigen zu trennen.

Die Analyse der hartnäckigen Fehlschläge zeigt dasselbe Muster aus der anderen Richtung. Bestehende Skills legen ihr Gewicht auf die prozedurale Führung – also auf die Phase, die am seltensten für Fehler verantwortlich ist – und lassen Grounding und Verifikation unterversorgt, obwohl dort die Mehrheit der verbleibenden Fehler entsteht. Zieht man die Fälle ab, in denen der Bewerter eine richtige Lösung nicht lesen konnte, halten die Autoren viele der verbleibenden Fehlschläge für behebbar – durch besseres Grounding und mehr Verifikation, nicht durch noch genauere Prozeduren.

Die praktische Konsequenz ist eine andere Bewertungsroutine: eine Anweisung nicht nur am Durchschnittsgewinn messen, sondern den Nettoeffekt zusätzlich in Gewinne und Regressionen zerlegen – und die Frage stellen, welche Aufgaben vorher funktioniert haben.

Was dagegen spricht¶

Jede Bedingung lief genau einmal, ohne Wiederholung mit anderem Startwert – die Streuung zwischen zwei identischen Läufen ist damit unbekannt. Rechnet man die 18 Vergleichszellen gegen die Mehrfachtestung auf, überleben drei, alle auf demselben Stack und demselben Benchmark. Die Autoren gehen damit offen um: Ihre Ansprüche ruhen erklärtermaßen auf diesen drei Zellen, und dass die meisten scheinbaren Verbesserungen nach der Korrektur im Rauschen verschwinden, lesen sie als Stütze ihrer Steuer-These, nicht als Einwand dagegen.

Das Messartefakt der nicht lesbaren Formeln benennen sie ebenfalls selbst: Auf dem Tabellen-Benchmark sind 13 Prozent der dort gezählten Regressionen richtige Formeln, die der Bewerter nicht auswerten konnte. In den Hauptzahlen bleibt das stehen, unbeantwortet bleibt es nicht – ein zweiter Durchgang mit einer vollständigen Tabellen-Engine rechnet die Formel-Fehlschläge nach, und beide Zahlenstände stehen im Papier. Offen bleibt der Geltungsbereich: Beide Benchmarks stammen aus der Büroautomatisierung, Modell und Harness sind je Stack verkoppelt, und die Mechanismen-Zuordnung hat eine einzelne Person kodiert – eine Beobachtungsklassifikation, kein kontrollierter Ursachentest.

Warum das hier steht¶

Weil es die Standardfrage umdreht. Nicht „hilft diese Anweisung?", sondern „was hat sie kaputtgemacht?" – und weil die Anweisung schon wirkt, wenn sie bloß danebensteht, im Guten wie im Schlechten.

Gegenprüfung

Von drei Modellfamilien gegen den Volltext der Quelle gelesen; Befunde und Korrekturen stehen im Protokoll.claude · gemini · grokPrüfprotokoll zu dieser Notiz →