Ein Modell, das die Antwort nie sieht, kann sie nicht auswendig lernen

Ob ein Gen eine Krankheit verursacht oder nur mit ihr auftritt, lässt sich aus Beobachtungsdaten nicht ablesen. Zellzustand, Zellzyklus, Charge und die Ko-Expression der übrigen Gene können auf beides gleichzeitig wirken. Das doppelte maschinelle Lernen ist die verbreitete Antwort darauf: Man schätzt zwei Hilfsgrößen – wie stark der Hintergrund das fragliche Gen erklärt und wie stark er den Krankheitsstatus erklärt – und rechnet den Effekt aus dem, was übrig bleibt.

Zu diesem Verfahren gehört eine Vorsichtsmaßnahme, die als selbstverständlich gilt. Die Daten werden in fünf Teile geschnitten; jede Hilfsgröße wird auf vier Teilen gelernt und auf dem fünften angewandt. Der Grund ist unstrittig: Ein Modell mit hoher Kapazität lernt auf denselben Daten, auf denen es später vorhersagt, das individuelle Rauschen mit. Es beschreibt dann sich selbst.

Diese Kreuzanpassung ist teuer. Zwei Netze mal fünf Durchgänge, und das für jedes Gen – über ein ganzes Transkriptom hinweg ist das nicht zu rechnen. Deshalb lohnt die Frage, wann sie tatsächlich gebraucht wird.

Die Autoren haben dafür ein vollständiges Feld aufgespannt: drei Bauarten der Hilfsgrößen, jede einmal mit und einmal ohne Kreuzanpassung, an B-Gedächtniszellen von Lupus-Kranken und Kontrollen. Zwei Größen bewegen sich darin also, aber so angeordnet, dass jeder einzelne Vergleich nur eine davon ändert. Dreißig zufällig gezogene Gene dienen der Reihe nach als vermutete Ursache, die übrigen 1.999 des zweitausend Gene starken Pools als Hintergrund.

Gemessen wird der Erfolg unter anderem daran, wie gut die Rangfolge der geschätzten Effektstärken zur Rangfolge der bekannten Zusammenhänge zwischen Gen und Krankheit passt, beides dem Betrag nach. Das Ergebnis zerfällt sauber in drei Teile. Bei zwei getrennten überwachten Netzen, dem Lehrbuchrezept, ist die Kreuzanpassung lebensrettend: Ohne sie liegt diese Übereinstimmung bei 0,046 – biologisch nichtssagend –, mit ihr bei 0,738. Bei linearer Regression ohne jede Dimensionsreduktion rettet sie dagegen nichts – die geschätzten Effekte bleiben biologisch unbrauchbar, auch wenn ihre Streuung zwischen den Genen dabei um achtzehn Zehnerpotenzen aus dem numerischen Nichts steigt. Zum tragenden Mangel, einer linearen Funktionenklasse für eine nichtlineare Genregulation, kommt in beiden Fällen ein zweiter hinzu, und zwar ein jeweils anderer: Ohne Aufteilung presst die Regression die Residuen auf null, mit Aufteilung fällt der Trainingsteil jeder Runde unter die Zahl der Hintergrundgene.

Im dritten Fall ändert sie exakt nichts. Die Übereinstimmung liegt bei 0,766 mit Kreuzanpassung und bei 0,766 ohne sie – nicht ungefähr gleich, sondern auf drei Stellen identisch.

Dieser dritte Fall ist der interessante. Dort komprimiert ein unüberwachter Autoencoder den Hintergrund auf 32 Dimensionen, und beide Hilfsgrößen werden auf derselben Darstellung linear angepasst. Der Autoencoder bekommt nur die Genexpression zu sehen, seine Aufgabe ist Rekonstruktion. Krankheitsstatus und Zielgen sieht er nie.

Damit fällt der Grund für die Vorsichtsmaßnahme weg, und zwar an der Wurzel. Wer die Antwort nicht kennt, kann ihr Rauschen nicht auswendig lernen; überanpasst der Autoencoder, dann an der Genexpression, und dieser Fehler steht senkrecht auf den Resten, aus denen der Effekt anschließend berechnet wird – er bringt zusätzliche Streuung mit, aber keine Verzerrung. Der zweite Schritt, eine lineare Anpassung in 32 Dimensionen, ist zu simpel, um das Problem neu zu erzeugen.

Bemerkenswert ist, dass das kein Widerspruch zur Theorie ist, sondern eine Stelle in ihr. Die Gründungsarbeit zum doppelten maschinellen Lernen von 2018 nennt die Bedingung selbst: Gehören die Hilfsgrößen einer hinreichend zahmen Funktionenklasse an – die Theorie spricht von der Donsker-Klasse –, dann genügt die Schätzung auf allen Daten. Nur wird die Ausnahme in der Praxis kaum genutzt, weil man ohnehin die stärksten verfügbaren Modelle einsetzt, und für die gilt sie eben nicht. Die Arbeit selbst reklamiert als Beitrag, die Bauarten erstmals systematisch gegeneinander gestellt zu haben; das Nützliche daran ist, dass jemand die Bedingung absichtlich herstellt und nachmisst, was sie einspart.

Was dagegen spricht¶

Einzuwenden ist erheblich viel, und die Arbeit hält es nicht zurück. Geprüft wurde an dreißig Genen in einem einzigen Datensatz von 2.120 Zellen, ausdrücklich in der Lage, in der Gene und Zellen etwa gleich zahlreich sind; der praktisch häufigere Fall, in dem die Zellen die Gene deutlich überwiegen, wird nur theoretisch behandelt, nicht gemessen. Die Rangkorrelation von −0,234 im gescheiterten Fall ist bei dreißig Genen nicht signifikant. Und die Autoren schreiben selbst, dass ihre feste achtschichtige Netzarchitektur die Voraussetzungen jener Näherungstheorie nicht streng erfüllt, mit der sie begründen, dass tiefe Netze die geforderte Genauigkeit überhaupt erreichen können – sie sei eine heuristische Umsetzung.

Ein Wort noch zum Bewertungsmaßstab, und dies ist nun keine Einschränkung der Autoren mehr, sondern eine Frage von außen. Die Kennzahl, an der sich der Erfolg hier vor allem zeigt, ist die Übereinstimmung mit der einfachen Korrelation zwischen Gen und Krankheit. Ein Verfahren, das Störfaktoren wirklich herausrechnet, müsste von ihr an manchen Stellen abweichen dürfen – wer sie am genauesten reproduziert, hat womöglich nur am wenigsten herausgerechnet. Die Autoren behandeln eine verwandte Sorge, nämlich ob es zirkulär sei, die geteilte Darstellung als Bezugspunkt für alle anderen zu nehmen; sie verweisen darauf, dass deren Glaubwürdigkeit zuvor anderweitig belegt sei – eben über jene Übereinstimmung von 0,766 und über die geringste Streuung bei wiederholter Schätzung – und dass das Lehrbuchrezept mit Kreuzanpassung von sich aus in dieselbe Richtung und Größenordnung läuft. Diese Übereinstimmung zweier verschieden gebauter Verfahren ist das stärkere Argument – den Einwand von außen räumt sie trotzdem nicht aus.

Warum das hier steht¶

Weil der Befund an einer Bedingung hängt und nicht an einem Werkzeug. Welches Netz den Hintergrund komprimiert, ist austauschbar; dass ein unüberwachtes Verfahren die Zielgröße nicht sehen kann und deshalb ihr Rauschen nicht speichert, bleibt richtig, wenn der Autoencoder von 2026 längst durch etwas anderes ersetzt ist. Solche Sätze überleben Softwaregenerationen, Ranglisten nicht.

Dazu kommt der Wert des Nachmessens selbst. Die Ausnahme stand seit 2018 in der Theorie, benutzt hat sie kaum jemand – Vorsichtsmaßnahmen werden mitgeschleppt, weil sie einmal begründet waren, nicht weil ihr Grund noch vorliegt. Was diese Arbeit tut, ist unspektakulär und deshalb nützlich: Sie stellt die Bedingung absichtlich her und rechnet aus, was das kostet und was es spart.

Bleibt eine Faustregel, die über die Einzelheiten hinausreicht: Wer eine Vorsichtsmaßnahme bezahlt, sollte wissen, gegen welchen Fehler sie schützt – sonst zahlt er sie auch dort, wo dieser Fehler gar nicht entstehen kann.

Gegenprüfung

Von drei Modellfamilien gegen den Volltext der Quelle gelesen; Befunde und Korrekturen stehen im Protokoll.claude · gemini · grokPrüfprotokoll zu dieser Notiz →