Query, Key, Value (QKV)

/ˈkwɪəri kiː ˈvæljuː/

Query, Key, Value (QKV): Tre vettori usati nei meccanismi di attenzione per calcolare combinazioni pesate di elementi input. Nell'attenzione, gli input sono proiettati in Query (cosa stiamo cercando), Key (cosa offre ogni elemento) e Value (contenuto effettivo). Gli score di attenzione sono calcolati come similarità tra Query e Key, poi usati per pesare i Value.

In English: Query, Key, Value (QKV)Legge I · Embedding, feature e spazi vettoriali

Nell'attenzione, gli input sono proiettati in Query (cosa stiamo cercando), Key (cosa offre ogni elemento) e Value (contenuto effettivo). Gli score di attenzione sono calcolati come similarità tra Query e Key, poi usati per pesare i Value.

Esempi

  • Attenzione transformer
  • Computazione self-attention
  • Cross-attention in encoder-decoder