Layer Normalization

Layer Normalization: Tecnica di normalizzazione che opera su tutti i neuroni in un layer, usata principalmente nei Transformer. Layer normalization normalizza le attivazioni attraverso le features invece che attraverso il batch. Più stabile per sequenze di lunghezza variabile. Usata in GPT e BERT.

Legge III · Come una rete impara dai datiConfronto: Batch normalization e layer normalization a confronto

Layer normalization normalizza le attivazioni attraverso le features invece che attraverso il batch. Più stabile per sequenze di lunghezza variabile. Usata in GPT e BERT.

Formula

x̂ = (x−μ)/√(σ²+ε) · γ + β, con μ e σ calcolati sulle feature del singolo esempio

Esempio numerico

import numpy as np
x = np.array([1.0, 2.0, 3.0])
xhat = (x - x.mean()) / np.sqrt(x.var() + 1e-5)
print(xhat)  # [-1.2247, 0.0, 1.2247]

Quando usarlo

Stabilizza le attivazioni nei Transformer senza dipendere dalla composizione del batch.

Limiti

Parametri e epsilon incidono sulla scala; non equivale alla batch normalization e non risolve ogni problema di ottimizzazione.

Esempi

  • Layer norm nei Transformer
  • GPT pre-norm vs post-norm
  • Stabilizzazione training

Autovalutazione

Tre domande per verificare la comprensione della voce. Le spiegazioni restano disponibili anche senza JavaScript.

1. Che cos’è Layer Normalization?
Spiegazione

Layer Normalization: Tecnica di normalizzazione che opera su tutti i neuroni in un layer, usata principalmente nei Transformer. Layer normalization normalizza le attivazioni attraverso le features invece che attraverso il batch. Più stabile per sequenze di lunghezza variabile. Usata in GPT e BERT.

2. Quale applicazione è coerente con Layer Normalization?
Spiegazione

Stabilizza le attivazioni nei Transformer senza dipendere dalla composizione del batch.

3. Quale voce è collegata a Layer Normalization?
Spiegazione

Le voci correlate sono scelte per collegamento tecnico, non per somiglianza casuale.

Fonti