Pruning
Pruning: Rimuovere pesi/neuroni non necessari per ridurre dimensione modello e costo computazionale. Identifica e rimuove pesi con magnitudine piccola. Può essere strutturato (neuroni/filtri) o non strutturato (pesi individuali). Spesso combinato con fine-tuning. Esempi di applicazione: Pruning pesi per magnitudine, Pruning strutturato filtri, Lottery ticket hypothesis.
In English: PruningLegge IV · Loss, gradiente e ottimizzatoriIdentifica e rimuove pesi con magnitudine piccola. Può essere strutturato (neuroni/filtri) o non strutturato (pesi individuali). Spesso combinato con fine-tuning.
Esempi
- Pruning pesi per magnitudine
- Pruning strutturato filtri
- Lottery ticket hypothesis