Knowledge Distillation
Knowledge Distillation: Tecnica per trasferire conoscenza da un modello grande (teacher) a uno più piccolo (student) mantenendo performance simili. Il knowledge distillation crea modelli compatti che possono girare su dispositivi con risorse limitate. Lo student impara dalle soft predictions del teacher.
Legge III · Come una rete impara dai datiIl knowledge distillation crea modelli compatti che possono girare su dispositivi con risorse limitate. Lo student impara dalle soft predictions del teacher.
Esempi
- DistilBERT da BERT
- Modelli mobile da modelli cloud
- Edge deployment