Exploding Gradient
/ɪkˈsploʊdɪŋ ˈɡreɪdiənt/
Exploding Gradient: Un problema dove i gradienti diventano estremamente grandi durante il training, causando aggiornamenti instabili e divergenza. L'exploding gradient si verifica quando la moltiplicazione ripetuta di derivate grandi ( 1) rende i gradienti esponenzialmente più grandi. Questo causa aggiornamenti massicci dei pesi che destabilizzano il training.
In English: Exploding GradientLegge V · Overfitting, bias e collasso dei modelliL'exploding gradient si verifica quando la moltiplicazione ripetuta di derivate grandi (> 1) rende i gradienti esponenzialmente più grandi. Questo causa aggiornamenti massicci dei pesi che destabilizzano il training. Soluzioni: gradient clipping, inizializzazione corretta, batch normalization.
Esempi
- Divergenza training RNN
- Valori NaN nei pesi
- Loss oscillante