Attention Score

Similarità calcolata tra vettori query e key prima della normalizzazione softmax nell'attention.

In English: Attention Score

Score = dot_product(Query, Key) / sqrt(d_k). Scaled dot-product previene problemi di gradiente. Score più alti significano più rilevanza.

Esempi

  • Scaled dot-product attention
  • Similarità query-key
  • Computazione attention