Multi-Head Attention

Multi-Head Attention: Meccanismo che permette al modello di focalizzarsi su diverse parti dell'input simultaneamente attraverso molteplici teste di attenzione. Il multi-head attention usa più meccanismi di attenzione in parallelo, ognuno che impara pattern diversi. Fondamentale nei Transformer. Tipicamente 8-16 heads.

Legge III · Come una rete impara dai dati

Il multi-head attention usa più meccanismi di attenzione in parallelo, ognuno che impara pattern diversi. Fondamentale nei Transformer. Tipicamente 8-16 heads.

Formula

headᵢ = Attention(QWᵢ^Q, KWᵢ^K, VWᵢ^V); MHA = Concat(head₁…head_h)W^O

Esempio numerico

import torch
q = torch.randn(2, 8, 64)  # sequenza, token, d_model
heads = q.reshape(2, 8, 4, 16).transpose(1, 2)
print(heads.shape)  # [2, 4, 8, 16]: batch, teste, token, dimensione

Quando usarlo

Le teste parallele apprendono relazioni diverse nello stesso strato e vengono ricombinate dalla proiezione finale.

Limiti

Aumenta memoria e calcolo; più teste non implicano necessariamente rappresentazioni migliori o interpretabili singolarmente.

Esempi

  • BERT con 12 attention heads
  • GPT con 96 heads (large)
  • Transformer encoder-decoder

Autovalutazione

Tre domande per verificare la comprensione della voce. Le spiegazioni restano disponibili anche senza JavaScript.

1. Che cos’è Multi-Head Attention?
Spiegazione

Multi-Head Attention: Meccanismo che permette al modello di focalizzarsi su diverse parti dell'input simultaneamente attraverso molteplici teste di attenzione. Il multi-head attention usa più meccanismi di attenzione in parallelo, ognuno che impara pattern diversi. Fondamentale nei Transformer. Tipicamente 8-16 heads.

2. Quale applicazione è coerente con Multi-Head Attention?
Spiegazione

Le teste parallele apprendono relazioni diverse nello stesso strato e vengono ricombinate dalla proiezione finale.

3. Quale voce è collegata a Multi-Head Attention?
Spiegazione

Le voci correlate sono scelte per collegamento tecnico, non per somiglianza casuale.

Fonti