Vanishing Gradient
/ˈvænɪʃɪŋ ˈɡreɪdiənt/
Vanishing Gradient: Un problema nelle reti profonde dove i gradienti diventano estremamente piccoli, impedendo apprendimento efficace nei layer iniziali. Il vanishing gradient si verifica quando la moltiplicazione ripetuta di derivate piccole (< 1) rende i gradienti esponenzialmente più piccoli nella backpropagation.
In English: Vanishing GradientLegge V · Overfitting, bias e collasso dei modelliIl vanishing gradient si verifica quando la moltiplicazione ripetuta di derivate piccole (< 1) rende i gradienti esponenzialmente più piccoli nella backpropagation. Comune in RNN profonde e reti con attivazioni sigmoid. Soluzioni: ReLU, LSTM, ResNet.
Formula
∂L/∂w_l = ∂L/∂a_L · Π_(j=l+1)^L [W_j diag(σ′(a_j))]
Esempio numerico
import numpy as np
derivatives = np.full(10, 0.25)
print(np.prod(derivatives)) # 9.5367e-07Quando usarlo
Si diagnostica quando i primi strati smettono di apprendere a causa di gradienti che si riducono nel backward.
Limiti
Normalizzazione, residual connection e inizializzazione aiutano ma non eliminano ogni instabilità, incluso l’exploding gradient.
Esempi
- RNN profonde che falliscono nell'apprendere dipendenze lunghe
- Attivazione sigmoid in reti profonde
- Reti molto profonde pre-ResNet
Autovalutazione
Tre domande per verificare la comprensione della voce. Le spiegazioni restano disponibili anche senza JavaScript.