Confronto

Batch normalization e layer normalization a confronto

Come batch normalization e layer normalization cambiano gli assi di normalizzazione, il batch e la stabilità del training. Confronta definizioni, formule.

Batch normalization e layer normalization riportano le attivazioni su una scala controllata, ma calcolano media e varianza su assi differenti. La prima usa il batch per ogni feature; la seconda usa le feature del singolo esempio.

Questo spiega la dipendenza della batch norm dalla dimensione del batch e il ruolo frequente della layer norm nei Transformer.

Le differenze in sintesi

AspettoBatch normalizationLayer normalization
AssiBatch e posizioni per featureFeature del singolo esempio
BatchInfluenza media e varianzaNon richiede un batch
Uso tipicoCNN e reti feed-forwardTransformer e RNN
InferenzaUsa statistiche di trainingCalcola sul singolo input

Un batch piccolo

Con un solo esempio, batch normalization non offre una stima affidabile delle statistiche di batch e usa quelle accumulate in training. Layer normalization continua a normalizzare le feature dell’esempio corrente.

Quale scegliere

Batch norm è efficace in molte CNN con batch stabili. Layer norm è più naturale con sequenze, batch piccoli o architetture Transformer.

Le due voci del glossario