Gradient Clipping
Gradient Clipping: Tecnica che limita la magnitudine dei gradienti durante il training per prevenire exploding gradients. Il gradient clipping tronca i gradienti a un valore massimo. Essenziale per addestrare RNN e LSTM. Previene aggiornamenti troppo grandi che destabilizzano il training.
Legge III · Come una rete impara dai datiIl gradient clipping tronca i gradienti a un valore massimo. Essenziale per addestrare RNN e LSTM. Previene aggiornamenti troppo grandi che destabilizzano il training.
Formula
Se ‖g‖₂ > τ, g ← g·τ/‖g‖₂
Esempio numerico
import numpy as np
g = np.array([3.0, 4.0])
threshold = 1.0
norm = np.linalg.norm(g)
if norm > threshold: g *= threshold / norm
print(g) # [0.6, 0.8]Quando usarlo
Limita aggiornamenti esplosivi in RNN e modelli profondi preservando la direzione complessiva del gradiente.
Limiti
Una soglia troppo bassa rallenta l’apprendimento e clipping non corregge cause strutturali dell’instabilità.
Esempi
- Clipping a norma 1.0
- Training LSTM stabili
- Prevenzione gradient explosion
Autovalutazione
Tre domande per verificare la comprensione della voce. Le spiegazioni restano disponibili anche senza JavaScript.