Batch Normalization

Batch Normalization: Una tecnica per normalizzare gli input di ogni layer, stabilizzando e accelerando il training. Batch normalization normalizza le attivazioni usando media e varianza del batch. Riduce internal covariate shift, permette learning rates più alti, e agisce come regolarizzatore.

In English: Batch NormalizationLegge III · Come una rete impara dai datiConfronto: Batch normalization e layer normalization a confronto

Batch normalization normalizza le attivazioni usando media e varianza del batch. Riduce internal covariate shift, permette learning rates più alti, e agisce come regolarizzatore.

Esempi

  • Stabilizzare training di reti profonde
  • Accelerare convergenza
  • Migliorare performance su vision tasks

Fonti