Knowledge Distillation

Tecnica per trasferire conoscenza da un modello grande (teacher) a uno più piccolo (student) mantenendo performance simili.

Il knowledge distillation crea modelli compatti che possono girare su dispositivi con risorse limitate. Lo student impara dalle soft predictions del teacher.

Esempi

  • DistilBERT da BERT
  • Modelli mobile da modelli cloud
  • Edge deployment