Momentum
/moʊˈmɛntəm/
Una tecnica di ottimizzazione che accelera gradient descent accumulando un vettore velocità in direzioni di riduzione persistente della loss.
In English: MomentumIl momentum aiuta a navigare i dirupi e accelera la convergenza. Aggiunge una frazione del vettore di aggiornamento precedente a quello corrente, lisciando la traiettoria di ottimizzazione e riducendo oscillazioni.
Esempi
- SGD con momentum 0.9
- Nesterov momentum
- Accelerazione convergenza