Query, Key, Value (QKV)
/ˈkwɪəri kiː ˈvæljuː/
Tre vettori usati nei meccanismi di attenzione per calcolare combinazioni pesate di elementi input.
In English: Query, Key, Value (QKV)Nell'attenzione, gli input sono proiettati in Query (cosa stiamo cercando), Key (cosa offre ogni elemento) e Value (contenuto effettivo). Gli score di attenzione sono calcolati come similarità tra Query e Key, poi usati per pesare i Value.
Esempi
- Attenzione transformer
- Computazione self-attention
- Cross-attention in encoder-decoder