Die Frage, wie stark eine On-Policy-Destillation die Gewichte eines Modells umschreibt, hat im Sommer 2026 zwei Gruppen gleichzeitig beschäftigt. Diese hier sitzt in Nanjing und bei …
Modelle & Architektur · 6. August 2026 · Reihe #2
Sichergestellte Erkenntnisse aus der KI-Forschung
Thema · destillation
- Ein Prozent der Richtungen trägt den ganzen Gewinn
- Was nach zwanzig Prozent feststeht, trägt den Rest des Trainings
Ein fertig vortrainiertes Sprachmodell wird auf drei Arten nachgeschärft. Beim überwachten Nachtrainieren lernt es aus fremden Musterlösungen. Beim Verstärkungslernen erzeugt es eigene …
Modelle & Architektur · 6. August 2026 · Reihe #1
