Jede fünfte Störung sieht kein einziges Werkzeug

Wenn in der genetischen Diagnostik eine Variante auftaucht, die noch niemand kennt, entscheidet häufig ein Vorhersageprogramm mit, ob sie als verdächtig gilt oder unter „vermutlich harmlos" abgelegt wird. Fünf solcher Programme stehen hier auf dem Prüfstand, und die naheliegende Frage lautet, welches das beste ist. Die Arbeit beantwortet sie. Das ist ihr uninteressantester Teil.

Geprüft wird gegen gemessene Wirklichkeit statt gegen ein zweites Modell. Ein multiplexierter Versuch hat für zehntausende menschliche Punktmutationen in einem künstlichen Genkonstrukt nachgesehen, was sie mit dem Spleißen anstellen – jenem Schritt, in dem die Zelle aus der abgelesenen Erbinformation die dazwischenliegenden Abschnitte, die Introns, herausschneidet und die verbleibenden, die Exons, zusammenfügt. Wird eine Variante eingebaut und das zugehörige Exon daraufhin deutlich seltener eingebaut, gilt sie als spleißstörend. Von den 27.733 Varianten mit auswertbarer Messung sind das 1.050, also 3,79 Prozent.

Die Rangfolge selbst fällt erwartbar aus: Pangolin liegt vorn, die drei anderen modernen Programme folgen, das älteste bleibt hinten. Bemerkenswert daran ist nur, dass diese Ordnung die Reihenfolge reproduziert, die schon die Pangolin-Autoren berichtet hatten – was hier ausdrücklich nicht als Erfolg verbucht, sondern als Korrektheitsprobe für die eigene Auswertung benutzt wird. Ein Benchmark, der zuerst prüft, ob er bekannte Ergebnisse wiederherstellt, bevor er neue verkündet, ist seltener als er sein sollte.

Interessant wird es, wo die Autoren nicht nach dem Sieger fragen, sondern danach, wo alle scheitern. Sortiert man die Varianten nach ihrem Abstand zur nächsten Spleißstelle und vergleicht die Programme bei gleicher Fehlalarmquote, zerfällt das gute Gesamtbild. Innerhalb von zwei Basenpaaren um die Spleißstelle finden die modernen Werkzeuge 80 bis 90 Prozent der Störungen. Jenseits von zwanzig Basenpaaren sind es noch 22 bis 48 Prozent.

Das wäre eine Randnotiz, wenn dort draußen wenig läge. Es liegt aber die Mehrheit: 53 Prozent der spleißstörenden Varianten sitzen mehr als zehn Basenpaare von der Spleißstelle entfernt, und selbst das beste Programm erkennt davon 59 Prozent.

Der eigentliche Stachel steckt in der Schnittmenge. 200 der 1.050 störenden Varianten – jede fünfte – werden von allen fünf Programmen zugleich übersehen. Drei von vier dieser gemeinsamen Fehlschläge liegen in einem Exon, ähnlich viele mehr als zehn Basenpaare von der nächsten Spleißstelle entfernt.

Es sind auch keine Grenzfälle, die knapp unter der Definitionsschwelle liegen und deshalb schwer zu erwischen wären. 82 Prozent von ihnen senken den Einbau des Exons um mehr als 0,70 – weit stärker als die 0,50, ab der überhaupt von einer Störung gesprochen wird. Was hier unsichtbar bleibt, sind starke Effekte.

Man könnte vermuten, das sei die Handschrift einer Bauart: Vier der fünf Programme suchen im Kern nach Spleißstellen, also finden sie, was an Spleißstellen passiert. Genau diese Erklärung prüfen die Autoren an dem einen Werkzeug, für das sie nicht gelten dürfte. MMSplice ist modular gebaut: Es bewertet die Akzeptorstelle, das Exon und die Donorstelle getrennt und setzt die Teile zusammen – entworfen also gerade für Effekte im Exon selbst. Es fällt mit dem Abstand genauso ab wie die anderen. Die Lücke ist damit keine Eigenheit der Konstruktion, sondern eine gemeinsame empirische Grenze dieser Programmgeneration auf diesem Versuch.

Daneben steht ein zweiter Befund, der über das Fach hinausreicht. Die Autoren haben die drei Programme, die aus einem Sequenzfenster heraus bewerten, zu einem kalibrierten Konsens verrechnet, sauber getrennt nach Exons, damit kein Exon zugleich im Trainings- und im Testteil steht. Gemessen wird in der mittleren Präzision, dem Maß, das die Arbeit wegen der starken Ungleichverteilung als Hauptmaß wählt: Der Konsens erreicht 0,443, Pangolin allein 0,442 – ein Unterschied, dessen Streubereich die Null einschließt. Verrechnet man stattdessen die Ränge, wird es sogar schlechter, und das angepasste Modell stützt sich ohnehin praktisch nur auf Pangolin.

Die Arbeit stellt die beiden Befunde nebeneinander, ohne sie zu verknüpfen; sie misst auch nicht, ob die Fehler der Programme miteinander laufen. Naheliegend ist der Zusammenhang trotzdem: Ein Zusammenschluss hilft gegen Fehler, die unabhängig voneinander entstehen. Gegen einen Irrtum, den alle Beteiligten aus demselben Grund teilen, hilft er nicht – er verdeckt ihn.

Was dagegen spricht¶

Einzuwenden bleibt einiges, und die Arbeit wendet es selbst ein. Sie ist ein Preprint, nicht begutachtet. Der Versuch läuft in einem künstlichen Genkonstrukt in einer einzigen Zelllinie, gewebespezifische Effekte kann er nicht zeigen. MMSplice wird auf einem nachgebauten einzelnen Exon bewertet statt im natürlichen Gen, was seine Leistung nach Einschätzung der Autoren vermutlich etwas unterschätzt – und sie mahnen ausdrücklich, auch seinen Abfall zum Exon-Inneren hin unter diesem Vorbehalt zu lesen. Und die Programme könnten die intakten Spleißstellen dieser Exons im Training gesehen haben; das trifft alle gleichermaßen und macht den Vergleich realistisch, nicht sauber.

Warum das hier steht¶

Weil hier zwei Dinge belegt sind, die den nächsten Modellwechsel überstehen. Das eine ist die Karte der blinden Stelle: Wer eine Variante im Inneren eines Exons vor sich hat und keinen Alarm bekommt, hat vor allem erfahren, dass die Programme dort wenig sehen können. Eine Rangliste altert; eine vermessene Grenze bleibt stehen, bis jemand sie verschiebt.

Das andere ist allgemeiner und gilt weit über die Genetik hinaus. Mehrere Verfahren zusammenzuschalten ist die übliche Antwort auf Unsicherheit, und sie funktioniert genau dann, wenn die Fehler unabhängig entstehen. Hier ist wenigstens ein Teil davon nachweislich geteilt: Jede fünfte Störung verfehlen alle zugleich. Ob das der Grund ist, weshalb der Zusammenschluss der drei besten nichts hinzugewinnt, prüft die Arbeit nicht – aber wer beides nebeneinanderlegt, wird künftig zweimal hinsehen, bevor er einer Mehrheit mehr glaubt als ihrem stärksten Mitglied.

Gegenprüfung

Von drei Modellfamilien gegen den Volltext der Quelle gelesen; Befunde und Korrekturen stehen im Protokoll.claude · gemini · grokPrüfprotokoll zu dieser Notiz →