Learning Rate
Learning Rate: Iperparametro controllando quanto aggiustare i pesi del modello durante il training. Dimensione passo nel gradient descent. Troppo alto: training instabile. Troppo basso: convergenza lenta. Valori tipici: 0.001, 0.01, 0.1. Esempi di applicazione: Learning rate 0.001, LR troppo alto causa divergenza, Learning rate adattivi.
In English: Learning RateLegge IV · Loss, gradiente e ottimizzatoriDimensione passo nel gradient descent. Troppo alto: training instabile. Troppo basso: convergenza lenta. Valori tipici: 0.001, 0.01, 0.1.
Formula
w_(t+1) = w_t − η∇_w L
Esempio numerico
w, grad, lr = 1.0, 0.25, 0.1
w_new = w - lr * grad
print(w_new) # 0.975Quando usarlo
Controlla l’ampiezza degli aggiornamenti e si regola con validation loss, scheduler e gradient clipping.
Limiti
Troppo alto può divergere o oscillare; troppo basso rallenta il training e può fermarsi in regioni subottimali.
Esempi
- Learning rate 0.001
- LR troppo alto causa divergenza
- Learning rate adattivi
Autovalutazione
Tre domande per verificare la comprensione della voce. Le spiegazioni restano disponibili anche senza JavaScript.