Pruning

Pruning: Rimuovere pesi/neuroni non necessari per ridurre dimensione modello e costo computazionale. Identifica e rimuove pesi con magnitudine piccola. Può essere strutturato (neuroni/filtri) o non strutturato (pesi individuali). Spesso combinato con fine-tuning. Esempi di applicazione: Pruning pesi per magnitudine, Pruning strutturato filtri, Lottery ticket hypothesis.

In English: PruningLegge IV · Loss, gradiente e ottimizzatori

Identifica e rimuove pesi con magnitudine piccola. Può essere strutturato (neuroni/filtri) o non strutturato (pesi individuali). Spesso combinato con fine-tuning.

Esempi

  • Pruning pesi per magnitudine
  • Pruning strutturato filtri
  • Lottery ticket hypothesis