Confronto
SGD e Adam: differenze tra ottimizzatori, con esempi
Come SGD e Adam aggiornano i pesi, differenze su momentum, learning rate adattivo, memoria e regolarizzazione. Confronta definizioni, formule, esempi svolti e.
SGD aggiorna i pesi usando il gradiente, eventualmente con momentum. Adam stima media e varianza dei gradienti per adattare il passo di ogni parametro.
Adam spesso accelera le fasi iniziali, mentre SGD con momentum offre una dinamica più semplice e talvolta una generalizzazione diversa. Weight decay va distinto dalla regolarizzazione L2 accoppiata, soprattutto con AdamW.
Le differenze in sintesi
| Aspetto | SGD con momentum | Adam / AdamW |
|---|---|---|
| Passo | Condiviso con momentum | Adattivo per parametro |
| Statistiche | Media del gradiente | Primo e secondo momento |
| Memoria | Una media se momentum | Due medie per peso |
| Regolarizzazione | L2 o weight decay | AdamW disaccoppia weight decay |
Un gradiente che cambia scala
Con learning rate 0,01 e gradiente 2, SGD senza momentum aggiorna di −0,02. Adam normalizza usando le statistiche del gradiente, quindi il passo dipende dalla loro storia e non soltanto dal valore corrente.
Quale scegliere
Prova Adam per convergenza rapida e gradienti su scale diverse. Valuta SGD con momentum per semplicità e baseline solide, confrontando sempre la validation loss.