Der Vorbehalt stand im selben Dokument

Seit Ende Juni laufen hier vier Messreihen über die Arbeit mit einem KI-Assistenten. Sie zählen, wie oft eine Korrektur nötig war, wie oft der Assistent seinen Fehler selbst fand, wie oft er vor einem Problem im eigenen Gedächtnis nachschlug, und wie oft er etwas über das System behauptete, ohne im selben Arbeitsschritt nachgesehen zu haben.

Die letzten drei tragen einen ausdrücklichen Vorbehalt, und zwar je im selben Dokument wie die zugehörige Zahl. Beim Nachschlagen steht, der Nenner sei zu groß, die Quote deshalb eine Untergrenze. Beim Selbstfinden, die Wochen seien zu klein für einen Verlauf – ein Richtungsindiz, kein Messwert. Bei den unbelegten Behauptungen, ein Treffer sei ein Verdacht und kein Verstoß.

Als aus den Reihen eine Zusammenfassung wurde, war jeder dieser drei Sätze verschwunden. Die Zahlen blieben.

Der ersten Reihe, den Korrekturen, fehlte etwas anderes: eine Bezugsgröße. Sie zählt 5, 10, 14, 13, 12, 30, 59 je Woche – eine Kurve, die für sich spricht, bis man fragt, wie viel in diesen Wochen jeweils gearbeitet wurde. Hält man die Zahl der Arbeitssitzungen dagegen, kehrt sich die Richtung um – jedenfalls im Vergleich zweier Dreiwochenblöcke, denn feiner geben die Daten es nicht her. Und auch das ist mit Vorsicht zu lesen: Eine Arbeitssitzung ist ein grobes Maß, und ob eine im Juni dasselbe bedeutet wie eine im August, weiß nur, wer gearbeitet hat.

Der Fall, der am meisten hergibt¶

Eine Reihe sollte zeigen, dass eine harte Regel immer schlechter befolgt wird: vier Wochenwerte, fallend von 25 auf 1,8 Prozent. Nachgerechnet ergibt sich ein anderes Bild, und zwar in drei Schritten.

Erstens der Bezug: Der Prozentsatz, der dem Verlauf vorangestellt war, stammt aus einer eng gefassten Fehlerklasse, der Verlauf selbst aus einer weit gefassten – zwei verschiedene Nenner in einem Satz. Zweitens die Auswahl: Drei Wochen fehlen in der Aufzählung, ausgerechnet die mit dem Wert null, die also unter allen genannten liegen. Sie stehen auf vier, drei und einem einzigen Vorgang, während die stärkste Woche der Reihe 141 hatte. Drittens der Nenner selbst: In der Woche mit 6,4 Prozent wurde häufiger nachgeschlagen als in jeder anderen Woche der Reihe – neunmal, gegenüber zwei, fünf und zwei in den drei übrigen. Die Quote fällt trotzdem, weil in einer Bauwoche jeder belanglose Fehlschlag in den Nenner wandert. Gemessen wurde am Ende die Dichte trivialer Pannen, nicht die Regeltreue.

Beim Nachrechnen kam ein vierter Punkt hinzu, der die ganze Reihe betrifft: Die Wochenzeilen decken nur 266 der 355 Problemfälle und 18 der 65 Nachschlagevorgänge ab. Die 89 Fälle außerhalb der Tabelle haben eine Quote von 53 Prozent – fast dreimal so hoch wie das Gesamtbild. Warum sie fehlen, sagt die Ausgabe nicht; vermutlich trug ihr Zeitstempel keine auswertbare Woche. Über welchen Verlauf man auch streitet, er beruht auf 28 Prozent der Nachschlagevorgänge.

Und noch eine Zahl hat sich bewegt: Der letzte Wert der zitierten Reihe lautete 1,8 Prozent, zwei Tage später steht dieselbe Woche bei 3,2 – die Woche lief noch, und jede weitere Arbeitsstunde fließt ein. Ein Endpunkt, der sich in zwei Tagen fast verdoppelt, trägt keine Trendaussage.

Ein Konto, in das nie gebucht wurde¶

Der zweite Fall ist kürzer und unangenehmer. Das Punktekonto, das über die Wirksamkeit der Merkregeln Buch führt, steht bei null Erfolgen – und bei null Misserfolgen. In der Zusammenfassung wurde daraus „null zu drei", also eine Niederlage. Ein Konto, in das nie jemand etwas eingetragen hat, sagt nichts über Wirkung. Es sagt, dass niemand gebucht hat.

Die Richtung ist immer dieselbe¶

Auffällig ist nicht, dass beim Verdichten etwas verlorengeht – das ist der Zweck des Verdichtens. Auffällig ist, was verlorengeht. In jedem der fünf Fälle fiel weg, was die Zahl kleiner macht: der Vorbehalt, die Bezugsgröße, die leere Gegenbuchung. Nirgends fiel weg, was sie größer gemacht hätte.

Fünf Fälle sind keine Statistik, und aus einer Person und einem Aufbau folgt kein Mechanismus. Eine zweite Spur gibt es trotzdem, und sie stammt aus ganz anderem Material. Jeder Artikel dieser Seite wird von mehreren Modellen gegen den Volltext der Quelle gelesen, mit dem Auftrag, Fehler zu finden. In den auswertbaren Berichten stehen 66 solcher Befunde. Bei 12 davon stimmt die Zahl, aber der Bezug ist verrutscht – falsche Spalte, falsche Variante, falsche Versuchsbedingung. Bei 21 ist die Einschränkung weggefallen, aus einem „deutet darauf hin" wurde ein Ist. Das sind zwei verschiedene Fehlerklassen; erst wenn man sie als denselben Vorgang liest, ergeben sie zusammen die Hälfte. Ob man das darf, ist die offene Frage dieses Textes.

Was diesem Text passiert ist¶

Er ging vor der Veröffentlichung durch fünf Prüfungen, danach durch zwei weitere auf die überarbeitete Fassung. Sie fanden vier Sachfehler in der ersten Fassung und zehn in der zweiten – eingeführt beim Reparieren. Was hier steht, ist ein Protokoll des eigenen Herstellungswegs; anders als die Zahlen weiter oben lässt es sich nicht gegen eine unabhängige Quelle prüfen, sondern nur gegen die Prüfberichte, die daneben liegen.

Einer davon ist genau der Fehler, den der Text beschreibt: Der zitierte Endwert 1,8 stand neben Vergleichszahlen eines anderen Messzeitpunkts, eine Zahl also an einer Bedingung, die nicht stimmt. Die übrigen sind verwandt, aber nicht dasselbe – eine Fehlzählung in einer Aufzählung, eine Lücke in der Erfassung, eine Behauptung ohne Quellendeckung. Die zweite Runde brachte fast nur noch Rundungen: „dreimal so hoch" für den Faktor 2,89, „ein Viertel" für 28 Prozent, „rund vierzig" für sechsunddreißig. Jede einzelne klein, jede einzelne in dieselbe Richtung.

Die Lücke in der Wochentabelle fand überhaupt nur einer der Leser.

Geschrieben wurde der Text von jemandem, der auf nichts anderes achtete als auf genau diese Fehlerklasse.

Das ist der brauchbarste Teil des ganzen Befunds. Aufmerksamkeit reicht nicht. Was die Fehler gefunden hat, war kein Vorsatz, sondern ein Verfahren: eine Liste, in der jede Zahl auf ihre Fundstelle zurückgeführt werden muss, und mehrere Leser, die nichts miteinander zu tun haben.

Was dagegen spricht¶

Ein Aufbau, ein Nutzer, sechs Wochen, keine Kontrollbedingung. Die Einteilung der 66 Befunde ist eine grobe Textsuche über Überschriften und nicht das Urteil der Leser, die sie gefunden haben; sie trifft daneben, in beide Richtungen. Erfasst sind außerdem nur zwölf Berichte – die übrigen sechsunddreißig liegen in Formaten vor, die diese Suche nicht auswertet.

Der schwerste Einwand steht schon oben: Dass ein verrutschter Bezug und ein weggefallener Vorbehalt derselbe Vorgang sind, ist eine Deutung. Sie liegt nahe, und sie ist bequem, weil sie aus zwei mittelgroßen Zahlen eine große macht.

Der zweite schwerste ist unangenehmer. Wer sein eigenes nachlässiges Zusammenfassen als „Mechanismus" beschreibt, hat den Vorgang damit auch ein Stück weit entschuldigt – aus einem Versäumnis wird eine Eigenschaft der Sache. Dieser Text kann diesen Verdacht nicht ausräumen. Er kann nur die Rohwerte danebenlegen, was hiermit geschehen ist.

Warum das hier steht¶

Weil die Vorher-Fassung normalerweise nicht existiert. Wer eine interne Kennzahl in einer Präsentation sieht, sieht nur das Ergebnis; die Datei, in der jemand ehrlich „Nenner zu groß" notiert hat, liegt in keinem Umlauf. Hier liegen beide Fassungen nebeneinander, weil beide aufgehoben wurden – und deshalb lässt sich der Verlust am Einzelsatz zeigen statt nur behaupten.

Die praktische Folge ist unspektakulär und kostet zwei Minuten: Vor jeder Zahl, die weitergereicht wird, den Ursprungsort öffnen und nachsehen, ob dort ein einschränkender Satz steht. Nicht, ob die Zahl stimmt – das tut sie meistens. Sondern, ob sie allein stehen darf.

Gegenprüfung

Von fünf Modellfamilien gegen den Volltext der Quelle gelesen; Befunde und Korrekturen stehen im Protokoll.claude · gemini · glm · grok · terraPrüfprotokoll zu dieser Notiz →