Learning Rate

Iperparametro controllando quanto aggiustare i pesi del modello durante il training.

In English: Learning Rate

Dimensione passo nel gradient descent. Troppo alto: training instabile. Troppo basso: convergenza lenta. Valori tipici: 0.001, 0.01, 0.1.

Esempi

  • Learning rate 0.001
  • LR troppo alto causa divergenza
  • Learning rate adattivi