Confronto
Batch normalization e layer normalization a confronto
Come batch normalization e layer normalization cambiano gli assi di normalizzazione, il batch e la stabilità del training. Confronta definizioni, formule.
Batch normalization e layer normalization riportano le attivazioni su una scala controllata, ma calcolano media e varianza su assi differenti. La prima usa il batch per ogni feature; la seconda usa le feature del singolo esempio.
Questo spiega la dipendenza della batch norm dalla dimensione del batch e il ruolo frequente della layer norm nei Transformer.
Le differenze in sintesi
| Aspetto | Batch normalization | Layer normalization |
|---|---|---|
| Assi | Batch e posizioni per feature | Feature del singolo esempio |
| Batch | Influenza media e varianza | Non richiede un batch |
| Uso tipico | CNN e reti feed-forward | Transformer e RNN |
| Inferenza | Usa statistiche di training | Calcola sul singolo input |
Un batch piccolo
Con un solo esempio, batch normalization non offre una stima affidabile delle statistiche di batch e usa quelle accumulate in training. Layer normalization continua a normalizzare le feature dell’esempio corrente.
Quale scegliere
Batch norm è efficace in molte CNN con batch stabili. Layer norm è più naturale con sequenze, batch piccoli o architetture Transformer.