Learning Rate

Learning Rate: Iperparametro controllando quanto aggiustare i pesi del modello durante il training. Dimensione passo nel gradient descent. Troppo alto: training instabile. Troppo basso: convergenza lenta. Valori tipici: 0.001, 0.01, 0.1. Esempi di applicazione: Learning rate 0.001, LR troppo alto causa divergenza, Learning rate adattivi.

In English: Learning RateLegge IV · Loss, gradiente e ottimizzatori

Dimensione passo nel gradient descent. Troppo alto: training instabile. Troppo basso: convergenza lenta. Valori tipici: 0.001, 0.01, 0.1.

Formula

w_(t+1) = w_t − η∇_w L

Esempio numerico

w, grad, lr = 1.0, 0.25, 0.1
w_new = w - lr * grad
print(w_new)  # 0.975

Quando usarlo

Controlla l’ampiezza degli aggiornamenti e si regola con validation loss, scheduler e gradient clipping.

Limiti

Troppo alto può divergere o oscillare; troppo basso rallenta il training e può fermarsi in regioni subottimali.

Esempi

  • Learning rate 0.001
  • LR troppo alto causa divergenza
  • Learning rate adattivi

Autovalutazione

Tre domande per verificare la comprensione della voce. Le spiegazioni restano disponibili anche senza JavaScript.

1. Che cos’è Learning Rate?
Spiegazione

Learning Rate: Iperparametro controllando quanto aggiustare i pesi del modello durante il training. Dimensione passo nel gradient descent. Troppo alto: training instabile. Troppo basso: convergenza lenta. Valori tipici: 0.001, 0.01, 0.1. Esempi di applicazione: Learning rate 0.001, LR troppo alto causa divergenza, Learning rate adattivi.

2. Quale applicazione è coerente con Learning Rate?
Spiegazione

Controlla l’ampiezza degli aggiornamenti e si regola con validation loss, scheduler e gradient clipping.

3. Quale voce è collegata a Learning Rate?
Spiegazione

Le voci correlate sono scelte per collegamento tecnico, non per somiglianza casuale.