Pruning

Rimuovere pesi/neuroni non necessari per ridurre dimensione modello e costo computazionale.

In English: Pruning

Identifica e rimuove pesi con magnitudine piccola. Può essere strutturato (neuroni/filtri) o non strutturato (pesi individuali). Spesso combinato con fine-tuning.

Esempi

  • Pruning pesi per magnitudine
  • Pruning strutturato filtri
  • Lottery ticket hypothesis