Attention Score
Attention Score: Similarità calcolata tra vettori query e key prima della normalizzazione softmax nell'attention. Score = dotproduct(Query, Key) / sqrt(dk). Scaled dot-product previene problemi di gradiente. Score più alti significano più rilevanza. Esempi di applicazione: Scaled dot-product attention, Similarità query-key, Computazione attention.
In English: Attention ScoreLegge III · Come una rete impara dai datiScore = dot_product(Query, Key) / sqrt(d_k). Scaled dot-product previene problemi di gradiente. Score più alti significano più rilevanza.
Esempi
- Scaled dot-product attention
- Similarità query-key
- Computazione attention