Momentum
/moʊˈmɛntəm/
Momentum: Una tecnica di ottimizzazione che accelera gradient descent accumulando un vettore velocità in direzioni di riduzione persistente della loss. Il momentum aiuta a navigare i dirupi e accelera la convergenza. Aggiunge una frazione del vettore di aggiornamento precedente a quello corrente, lisciando la traiettoria di ottimizzazione e riducendo oscillazioni.
In English: MomentumLegge IV · Loss, gradiente e ottimizzatoriIl momentum aiuta a navigare i dirupi e accelera la convergenza. Aggiunge una frazione del vettore di aggiornamento precedente a quello corrente, lisciando la traiettoria di ottimizzazione e riducendo oscillazioni.
Esempi
- SGD con momentum 0.9
- Nesterov momentum
- Accelerazione convergenza