RMSprop

RMSprop: Algoritmo di ottimizzazione con learning rate adattivo usando media mobile di gradienti al quadrato. Divide learning rate per media mobile esponenziale di gradienti al quadrato. Affronta i learning rate diminuenti di Adagrad. Buono per RNN e problemi non-stazionari. Esempi di applicazione: Training RNN, Ottimizzazione non-convessa, Apprendimento adattivo.

In English: RMSpropLegge IV · Loss, gradiente e ottimizzatori

Divide learning rate per media mobile esponenziale di gradienti al quadrato. Affronta i learning rate diminuenti di Adagrad. Buono per RNN e problemi non-stazionari.

Esempi

  • Training RNN
  • Ottimizzazione non-convessa
  • Apprendimento adattivo