Gradient Clipping

Tecnica che limita la magnitudine dei gradienti durante il training per prevenire exploding gradients.

Il gradient clipping tronca i gradienti a un valore massimo. Essenziale per addestrare RNN e LSTM. Previene aggiornamenti troppo grandi che destabilizzano il training.

Esempi

  • Clipping a norma 1.0
  • Training LSTM stabili
  • Prevenzione gradient explosion