Gradiente

Gradiente: Direzione e magnitudine dell'aumento più ripido nella funzione loss rispetto ai parametri. I gradienti indicano come aggiustare i pesi per ridurre la loss. Calcolati via backpropagation. Si muove in direzione opposta (gradient descent). Esempi di applicazione: Gradiente peso: -0.5, Flusso gradiente attraverso rete, Vanishing gradient.

In English: GradientLegge IV · Loss, gradiente e ottimizzatori

I gradienti indicano come aggiustare i pesi per ridurre la loss. Calcolati via backpropagation. Si muove in direzione opposta (gradient descent).

Esempi

  • Gradiente peso: -0.5
  • Flusso gradiente attraverso rete
  • Vanishing gradient