SGD (Stochastic Gradient Descent)
/stoʊˈkæstɪk ˈɡreɪdiənt dɪˈsɛnt/
Una variante di gradient descent che aggiorna i pesi usando gradienti da un singolo esempio di training random alla volta.
In English: SGD (Stochastic Gradient Descent)SGD è più veloce e permette online learning ma ha gradienti rumorosi. Il rumore può aiutare a scappare da minimi locali. Il mini-batch SGD bilancia efficienza e qualità dei gradienti.
Esempi
- Online learning
- Training large-scale
- Scappare da minimi locali