Confronto

SGD e Adam: differenze tra ottimizzatori, con esempi

Come SGD e Adam aggiornano i pesi, differenze su momentum, learning rate adattivo, memoria e regolarizzazione. Confronta definizioni, formule, esempi svolti e.

SGD aggiorna i pesi usando il gradiente, eventualmente con momentum. Adam stima media e varianza dei gradienti per adattare il passo di ogni parametro.

Adam spesso accelera le fasi iniziali, mentre SGD con momentum offre una dinamica più semplice e talvolta una generalizzazione diversa. Weight decay va distinto dalla regolarizzazione L2 accoppiata, soprattutto con AdamW.

Le differenze in sintesi

AspettoSGD con momentumAdam / AdamW
PassoCondiviso con momentumAdattivo per parametro
StatisticheMedia del gradientePrimo e secondo momento
MemoriaUna media se momentumDue medie per peso
RegolarizzazioneL2 o weight decayAdamW disaccoppia weight decay

Un gradiente che cambia scala

Con learning rate 0,01 e gradiente 2, SGD senza momentum aggiorna di −0,02. Adam normalizza usando le statistiche del gradiente, quindi il passo dipende dalla loro storia e non soltanto dal valore corrente.

Quale scegliere

Prova Adam per convergenza rapida e gradienti su scale diverse. Valuta SGD con momentum per semplicità e baseline solide, confrontando sempre la validation loss.

Le due voci del glossario