Vanishing Gradient
/ˈvænɪʃɪŋ ˈɡreɪdiənt/
Un problema nelle reti profonde dove i gradienti diventano estremamente piccoli, impedendo apprendimento efficace nei layer iniziali.
In English: Vanishing GradientIl vanishing gradient si verifica quando la moltiplicazione ripetuta di derivate piccole (< 1) rende i gradienti esponenzialmente più piccoli nella backpropagation. Comune in RNN profonde e reti con attivazioni sigmoid. Soluzioni: ReLU, LSTM, ResNet.
Esempi
- RNN profonde che falliscono nell'apprendere dipendenze lunghe
- Attivazione sigmoid in reti profonde
- Reti molto profonde pre-ResNet