SGD (Stochastic Gradient Descent)

/stoʊˈkæstɪk ˈɡreɪdiənt dɪˈsɛnt/

SGD (Stochastic Gradient Descent): Una variante di gradient descent che aggiorna i pesi usando gradienti da un singolo esempio di training random alla volta. SGD è più veloce e permette online learning ma ha gradienti rumorosi. Il rumore può aiutare a scappare da minimi locali.

In English: SGD (Stochastic Gradient Descent)Legge IV · Loss, gradiente e ottimizzatoriConfronto: SGD e Adam: differenze tra ottimizzatori, con esempi

SGD è più veloce e permette online learning ma ha gradienti rumorosi. Il rumore può aiutare a scappare da minimi locali. Il mini-batch SGD bilancia efficienza e qualità dei gradienti.

Esempi

  • Online learning
  • Training large-scale
  • Scappare da minimi locali