Destylacja modelu· Knowledge distillation

Bierzesz wielki, drogi model (nauczyciel), każesz mu odpowiadać na pytania, a mały model (uczeń) uczy się go naśladować. W 90% przypadków uczeń wystarcza, kosztuje 10× mniej.