Thema · benchmarks

Wer einen Wirkstoff sucht, lässt den Rechner große Molekülbibliotheken in eine Proteintasche legen und nach Passgenauigkeit sortieren. Die Funktion, die dabei die Punkte vergibt – im …

Wer von zwei getrennten Bevölkerungen abstammt, trägt ein Erbgut wie ein Flickenteppich: Jedes Stück Chromosom stammt aus der einen oder der anderen Quelle. Das Verfahren, das diesen …

Ein Immunrezeptor ist unbekannt, und die Frage lautet, wogegen er sich richtet. Das übliche Verfahren sucht in einer Datenbank den ähnlichsten Rezeptor, dessen Ziel man kennt, und …

Es gibt einen Streit darüber, was Verstärkungslernen mit einem Sprachmodell eigentlich anstellt. Die eine Seite sagt: Es schärft nur, was das Modell ohnehin schon bevorzugt hat. Die …

Wenn in der genetischen Diagnostik eine Variante auftaucht, die noch niemand kennt, entscheidet häufig ein Vorhersageprogramm mit, ob sie als verdächtig gilt oder unter „vermutlich …

Ein Videomodell soll eine Szene erzeugen, durch die sich eine Kamera bewegt. Sie dreht sich weg, filmt eine Weile etwas anderes und kommt zurück. Steht der Gegenstand dann noch da, wo …

Wer wissen will, ob ein Programmier-Agent taugt, lässt ihn Aufgaben lösen und zählt die gelösten. Das ist die Logik hinter jeder Bestenliste in diesem Feld, und sie unterstellt, dass …

Ein Agent mit 47.000 verfügbaren Werkzeugen – verteilt auf rund 16.000 Schnittstellen – kann nicht bei jeder Anfrage alle Beschreibungen lesen. Also sucht er vorher. Eine Bauart, die …

Nachdenken kostet. Jedes Wort, das ein Modell vor seiner Antwort produziert, wird bezahlt – in Rechenzeit, in Geld, in Wartezeit des Nutzers. Also trainiert man Modelle darauf, sich …

Das erste Modell konnte nicht mehr richtig schreiben. Es produzierte Rechtschreibfehler in Serie – für die Autoren ein Hinweis darauf, dass selbst die kürzesten Abhängigkeiten gestört …

Wenn man einem Agenten eine Handlungsanweisung mitgibt, misst man üblicherweise, wie viel besser er dadurch wird. Diese Zahl verschweigt die Gegenrichtung: Aufgaben, die er vorher …

Ein Modell verbessert sich selbst, indem ein zweites seine Ausgaben bewertet – solche Prüfmodelle heißen im Englischen verifiers. Die stillschweigende Annahme: besserer Prüfer …

Eine Katze sitzt auf dem Boden. Der Prompt lautet: „Im Schlafzimmer springt eine Katze aufs Bett." Die Kamera dreht sich weg, sieht sich kurz woanders um und kommt zurück. Wo ist die …