Peso di Attenzione
/əˈtɛnʃən weɪt/
Un valore scalare che indica quanto focus porre su una specifica parte dell'input quando si produce l'output.
In English: Attention WeightI pesi di attenzione sono calcolati attraverso prodotti scalari di vettori query e key, seguiti da normalizzazione softmax. Pesi più alti significano maggiore importanza. Permettono ai modelli di focalizzarsi dinamicamente su informazioni rilevanti.
Esempi
- Attenzione traduzione su parole sorgente
- Attenzione image captioning su regioni
- Summarization documenti