Gradient Clipping

Gradient Clipping: Tecnica che limita la magnitudine dei gradienti durante il training per prevenire exploding gradients. Il gradient clipping tronca i gradienti a un valore massimo. Essenziale per addestrare RNN e LSTM. Previene aggiornamenti troppo grandi che destabilizzano il training.

Legge III · Come una rete impara dai dati

Il gradient clipping tronca i gradienti a un valore massimo. Essenziale per addestrare RNN e LSTM. Previene aggiornamenti troppo grandi che destabilizzano il training.

Formula

Se ‖g‖₂ > τ, g ← g·τ/‖g‖₂

Esempio numerico

import numpy as np
g = np.array([3.0, 4.0])
threshold = 1.0
norm = np.linalg.norm(g)
if norm > threshold: g *= threshold / norm
print(g)  # [0.6, 0.8]

Quando usarlo

Limita aggiornamenti esplosivi in RNN e modelli profondi preservando la direzione complessiva del gradiente.

Limiti

Una soglia troppo bassa rallenta l’apprendimento e clipping non corregge cause strutturali dell’instabilità.

Esempi

  • Clipping a norma 1.0
  • Training LSTM stabili
  • Prevenzione gradient explosion

Autovalutazione

Tre domande per verificare la comprensione della voce. Le spiegazioni restano disponibili anche senza JavaScript.

1. Che cos’è Gradient Clipping?
Spiegazione

Gradient Clipping: Tecnica che limita la magnitudine dei gradienti durante il training per prevenire exploding gradients. Il gradient clipping tronca i gradienti a un valore massimo. Essenziale per addestrare RNN e LSTM. Previene aggiornamenti troppo grandi che destabilizzano il training.

2. Quale applicazione è coerente con Gradient Clipping?
Spiegazione

Limita aggiornamenti esplosivi in RNN e modelli profondi preservando la direzione complessiva del gradiente.

3. Quale voce è collegata a Gradient Clipping?
Spiegazione

Le voci correlate sono scelte per collegamento tecnico, non per somiglianza casuale.