Vanishing Gradient

/ˈvænɪʃɪŋ ˈɡreɪdiənt/

Vanishing Gradient: Un problema nelle reti profonde dove i gradienti diventano estremamente piccoli, impedendo apprendimento efficace nei layer iniziali. Il vanishing gradient si verifica quando la moltiplicazione ripetuta di derivate piccole (< 1) rende i gradienti esponenzialmente più piccoli nella backpropagation.

In English: Vanishing GradientLegge V · Overfitting, bias e collasso dei modelli

Il vanishing gradient si verifica quando la moltiplicazione ripetuta di derivate piccole (< 1) rende i gradienti esponenzialmente più piccoli nella backpropagation. Comune in RNN profonde e reti con attivazioni sigmoid. Soluzioni: ReLU, LSTM, ResNet.

Formula

∂L/∂w_l = ∂L/∂a_L · Π_(j=l+1)^L [W_j diag(σ′(a_j))]

Esempio numerico

import numpy as np
derivatives = np.full(10, 0.25)
print(np.prod(derivatives))  # 9.5367e-07

Quando usarlo

Si diagnostica quando i primi strati smettono di apprendere a causa di gradienti che si riducono nel backward.

Limiti

Normalizzazione, residual connection e inizializzazione aiutano ma non eliminano ogni instabilità, incluso l’exploding gradient.

Esempi

  • RNN profonde che falliscono nell'apprendere dipendenze lunghe
  • Attivazione sigmoid in reti profonde
  • Reti molto profonde pre-ResNet

Autovalutazione

Tre domande per verificare la comprensione della voce. Le spiegazioni restano disponibili anche senza JavaScript.

1. Che cos’è Vanishing Gradient?
Spiegazione

Vanishing Gradient: Un problema nelle reti profonde dove i gradienti diventano estremamente piccoli, impedendo apprendimento efficace nei layer iniziali. Il vanishing gradient si verifica quando la moltiplicazione ripetuta di derivate piccole (< 1) rende i gradienti esponenzialmente più piccoli nella backpropagation.

2. Quale applicazione è coerente con Vanishing Gradient?
Spiegazione

Si diagnostica quando i primi strati smettono di apprendere a causa di gradienti che si riducono nel backward.

3. Quale voce è collegata a Vanishing Gradient?
Spiegazione

Le voci correlate sono scelte per collegamento tecnico, non per somiglianza casuale.