SGD (Stochastic Gradient Descent)
/stoʊˈkæstɪk ˈɡreɪdiənt dɪˈsɛnt/
SGD (Stochastic Gradient Descent): Una variante di gradient descent che aggiorna i pesi usando gradienti da un singolo esempio di training random alla volta. SGD è più veloce e permette online learning ma ha gradienti rumorosi. Il rumore può aiutare a scappare da minimi locali.
In English: SGD (Stochastic Gradient Descent)Legge IV · Loss, gradiente e ottimizzatoriConfronto: SGD e Adam: differenze tra ottimizzatori, con esempiSGD è più veloce e permette online learning ma ha gradienti rumorosi. Il rumore può aiutare a scappare da minimi locali. Il mini-batch SGD bilancia efficienza e qualità dei gradienti.
Esempi
- Online learning
- Training large-scale
- Scappare da minimi locali