Query, Key, Value (QKV)
/ˈkwɪəri kiː ˈvæljuː/
Query, Key, Value (QKV): Tre vettori usati nei meccanismi di attenzione per calcolare combinazioni pesate di elementi input. Nell'attenzione, gli input sono proiettati in Query (cosa stiamo cercando), Key (cosa offre ogni elemento) e Value (contenuto effettivo). Gli score di attenzione sono calcolati come similarità tra Query e Key, poi usati per pesare i Value.
In English: Query, Key, Value (QKV)Legge I · Embedding, feature e spazi vettorialiNell'attenzione, gli input sono proiettati in Query (cosa stiamo cercando), Key (cosa offre ogni elemento) e Value (contenuto effettivo). Gli score di attenzione sono calcolati come similarità tra Query e Key, poi usati per pesare i Value.
Esempi
- Attenzione transformer
- Computazione self-attention
- Cross-attention in encoder-decoder