Momentum

/moʊˈmɛntəm/

Momentum: Una tecnica di ottimizzazione che accelera gradient descent accumulando un vettore velocità in direzioni di riduzione persistente della loss. Il momentum aiuta a navigare i dirupi e accelera la convergenza. Aggiunge una frazione del vettore di aggiornamento precedente a quello corrente, lisciando la traiettoria di ottimizzazione e riducendo oscillazioni.

In English: MomentumLegge IV · Loss, gradiente e ottimizzatori

Il momentum aiuta a navigare i dirupi e accelera la convergenza. Aggiunge una frazione del vettore di aggiornamento precedente a quello corrente, lisciando la traiettoria di ottimizzazione e riducendo oscillazioni.

Esempi

  • SGD con momentum 0.9
  • Nesterov momentum
  • Accelerazione convergenza