Multi-Head Attention
Multi-Head Attention: Meccanismo che permette al modello di focalizzarsi su diverse parti dell'input simultaneamente attraverso molteplici teste di attenzione. Il multi-head attention usa più meccanismi di attenzione in parallelo, ognuno che impara pattern diversi. Fondamentale nei Transformer. Tipicamente 8-16 heads.
Legge III · Come una rete impara dai datiIl multi-head attention usa più meccanismi di attenzione in parallelo, ognuno che impara pattern diversi. Fondamentale nei Transformer. Tipicamente 8-16 heads.
Formula
headᵢ = Attention(QWᵢ^Q, KWᵢ^K, VWᵢ^V); MHA = Concat(head₁…head_h)W^O
Esempio numerico
import torch
q = torch.randn(2, 8, 64) # sequenza, token, d_model
heads = q.reshape(2, 8, 4, 16).transpose(1, 2)
print(heads.shape) # [2, 4, 8, 16]: batch, teste, token, dimensioneQuando usarlo
Le teste parallele apprendono relazioni diverse nello stesso strato e vengono ricombinate dalla proiezione finale.
Limiti
Aumenta memoria e calcolo; più teste non implicano necessariamente rappresentazioni migliori o interpretabili singolarmente.
Esempi
- BERT con 12 attention heads
- GPT con 96 heads (large)
- Transformer encoder-decoder
Autovalutazione
Tre domande per verificare la comprensione della voce. Le spiegazioni restano disponibili anche senza JavaScript.