Ottimizzatore Adam

/ˈædəm/

Ottimizzatore Adam: Un algoritmo di ottimizzazione con learning rate adattivo che combina momentum e RMSprop. Adam (Adaptive Moment Estimation) calcola learning rate adattivi per ogni parametro usando stime del primo e secondo momento. È l'ottimizzatore di default per molte applicazioni deep learning per la sua robustezza.

In English: Adam OptimizerLegge IV · Loss, gradiente e ottimizzatoriConfronto: SGD e Adam: differenze tra ottimizzatori, con esempi

Adam (Adaptive Moment Estimation) calcola learning rate adattivi per ogni parametro usando stime del primo e secondo momento. È l'ottimizzatore di default per molte applicazioni deep learning per la sua robustezza.

Esempi

  • Training transformer
  • Reti neurali profonde
  • Ottimizzatore di default in molti framework

Fonti