Self Attention

/sɛlf əˈtɛnʃən/

Self Attention: Il self attention è un meccanismo di attenzione utilizzato nei modelli di deep learning che consente a una rete neurale di pesare l'importanza di diverse parti di un input rispetto ad altre. Self Attention Il self attention è una tecnica fondamentale nei modelli di linguaggio e visione artificiale.

In English: Self-AttentionLegge III · Come una rete impara dai dati

# Self Attention Il self attention è una tecnica fondamentale nei modelli di linguaggio e visione artificiale. Permette ai modelli di considerare le relazioni tra elementi all'interno di una singola sequenza. ## Come Funziona 1. **Input**: Set di vettori di input 2. **Calcolo dei Pesi**: Query, key e value 3. **Attenzione**: Matrice di attenzione con softmax 4. **Aggregazione**: Output finale contestuale ## Caratteristiche - Contesto dinamico - Scalabilità - Parallelizzazione ## Applicazioni - Traduzione automatica - NLP - Visione artificiale

Esempi

  • Un modello di traduzione automatica che utilizza self attention
  • Un sistema di raccomandazione
  • Un modello di generazione di testo

Fonti

Approfondimento

Self-Attention: perché l’idea dei “pappagalli stocastici” non regge più