Self Attention
/sɛlf əˈtɛnʃən/
Il self attention è un meccanismo di attenzione utilizzato nei modelli di deep learning che consente a una rete neurale di pesare l'importanza di diverse parti di un input rispetto ad altre.
In English: Self-Attention# Self Attention Il self attention è una tecnica fondamentale nei modelli di linguaggio e visione artificiale. Permette ai modelli di considerare le relazioni tra elementi all'interno di una singola sequenza. ## Come Funziona 1. **Input**: Set di vettori di input 2. **Calcolo dei Pesi**: Query, key e value 3. **Attenzione**: Matrice di attenzione con softmax 4. **Aggregazione**: Output finale contestuale ## Caratteristiche - Contesto dinamico - Scalabilità - Parallelizzazione ## Applicazioni - Traduzione automatica - NLP - Visione artificiale
Esempi
- Un modello di traduzione automatica che utilizza self attention
- Un sistema di raccomandazione
- Un modello di generazione di testo