Attention Score

Attention Score: Similarità calcolata tra vettori query e key prima della normalizzazione softmax nell'attention. Score = dotproduct(Query, Key) / sqrt(dk). Scaled dot-product previene problemi di gradiente. Score più alti significano più rilevanza. Esempi di applicazione: Scaled dot-product attention, Similarità query-key, Computazione attention.

In English: Attention ScoreLegge III · Come una rete impara dai dati

Score = dot_product(Query, Key) / sqrt(d_k). Scaled dot-product previene problemi di gradiente. Score più alti significano più rilevanza.

Esempi

  • Scaled dot-product attention
  • Similarità query-key
  • Computazione attention