Exploding Gradient
/ɪkˈsploʊdɪŋ ˈɡreɪdiənt/
Un problema dove i gradienti diventano estremamente grandi durante il training, causando aggiornamenti instabili e divergenza.
In English: Exploding GradientL'exploding gradient si verifica quando la moltiplicazione ripetuta di derivate grandi (> 1) rende i gradienti esponenzialmente più grandi. Questo causa aggiornamenti massicci dei pesi che destabilizzano il training. Soluzioni: gradient clipping, inizializzazione corretta, batch normalization.
Esempi
- Divergenza training RNN
- Valori NaN nei pesi
- Loss oscillante