Exploding Gradient

/ɪkˈsploʊdɪŋ ˈɡreɪdiənt/

Exploding Gradient: Un problema dove i gradienti diventano estremamente grandi durante il training, causando aggiornamenti instabili e divergenza. L'exploding gradient si verifica quando la moltiplicazione ripetuta di derivate grandi ( 1) rende i gradienti esponenzialmente più grandi. Questo causa aggiornamenti massicci dei pesi che destabilizzano il training.

In English: Exploding GradientLegge V · Overfitting, bias e collasso dei modelli

L'exploding gradient si verifica quando la moltiplicazione ripetuta di derivate grandi (> 1) rende i gradienti esponenzialmente più grandi. Questo causa aggiornamenti massicci dei pesi che destabilizzano il training. Soluzioni: gradient clipping, inizializzazione corretta, batch normalization.

Esempi

  • Divergenza training RNN
  • Valori NaN nei pesi
  • Loss oscillante