Peso di Attenzione
/əˈtɛnʃən weɪt/
Peso di Attenzione: Un valore scalare che indica quanto focus porre su una specifica parte dell'input quando si produce l'output. I pesi di attenzione sono calcolati attraverso prodotti scalari di vettori query e key, seguiti da normalizzazione softmax. Pesi più alti significano maggiore importanza.
In English: Attention WeightLegge III · Come una rete impara dai datiI pesi di attenzione sono calcolati attraverso prodotti scalari di vettori query e key, seguiti da normalizzazione softmax. Pesi più alti significano maggiore importanza. Permettono ai modelli di focalizzarsi dinamicamente su informazioni rilevanti.
Esempi
- Attenzione traduzione su parole sorgente
- Attenzione image captioning su regioni
- Summarization documenti