Gradiente
Gradiente: Direzione e magnitudine dell'aumento più ripido nella funzione loss rispetto ai parametri. I gradienti indicano come aggiustare i pesi per ridurre la loss. Calcolati via backpropagation. Si muove in direzione opposta (gradient descent). Esempi di applicazione: Gradiente peso: -0.5, Flusso gradiente attraverso rete, Vanishing gradient.
In English: GradientLegge IV · Loss, gradiente e ottimizzatoriI gradienti indicano come aggiustare i pesi per ridurre la loss. Calcolati via backpropagation. Si muove in direzione opposta (gradient descent).
Esempi
- Gradiente peso: -0.5
- Flusso gradiente attraverso rete
- Vanishing gradient