Weight Decay
Weight Decay: Tecnica di regolarizzazione che penalizza i pesi di grande valore durante l’ottimizzazione di un modello. Nella formulazione L2 aggiunge una penalità proporzionale al quadrato dei pesi; nel disaccoppiamento AdamW modifica direttamente l’aggiornamento. Il coefficiente controlla il compromesso tra adattamento ai dati e capacità del modello.
In English: Weight decayLegge IV · Loss, gradiente e ottimizzatoriConfronto: Regolarizzazione L1 e L2: differenze e quando usarleNella formulazione L2 aggiunge una penalità proporzionale al quadrato dei pesi; nel disaccoppiamento AdamW modifica direttamente l’aggiornamento. Il coefficiente controlla il compromesso tra adattamento ai dati e capacità del modello.
Formula
L = L_dati + (λ/2)‖w‖₂²
Esempi
- AdamW con coefficiente 0,01
- Regolarizzazione L2 di una rete
- Riduzione dell’overfitting