Layer Normalization
Layer Normalization: Tecnica di normalizzazione che opera su tutti i neuroni in un layer, usata principalmente nei Transformer. Layer normalization normalizza le attivazioni attraverso le features invece che attraverso il batch. Più stabile per sequenze di lunghezza variabile. Usata in GPT e BERT.
Legge III · Come una rete impara dai datiConfronto: Batch normalization e layer normalization a confrontoLayer normalization normalizza le attivazioni attraverso le features invece che attraverso il batch. Più stabile per sequenze di lunghezza variabile. Usata in GPT e BERT.
Formula
x̂ = (x−μ)/√(σ²+ε) · γ + β, con μ e σ calcolati sulle feature del singolo esempio
Esempio numerico
import numpy as np
x = np.array([1.0, 2.0, 3.0])
xhat = (x - x.mean()) / np.sqrt(x.var() + 1e-5)
print(xhat) # [-1.2247, 0.0, 1.2247]Quando usarlo
Stabilizza le attivazioni nei Transformer senza dipendere dalla composizione del batch.
Limiti
Parametri e epsilon incidono sulla scala; non equivale alla batch normalization e non risolve ogni problema di ottimizzazione.
Esempi
- Layer norm nei Transformer
- GPT pre-norm vs post-norm
- Stabilizzazione training
Autovalutazione
Tre domande per verificare la comprensione della voce. Le spiegazioni restano disponibili anche senza JavaScript.