Batch Normalization
Batch Normalization: Una tecnica per normalizzare gli input di ogni layer, stabilizzando e accelerando il training. Batch normalization normalizza le attivazioni usando media e varianza del batch. Riduce internal covariate shift, permette learning rates più alti, e agisce come regolarizzatore.
In English: Batch NormalizationLegge III · Come una rete impara dai datiConfronto: Batch normalization e layer normalization a confrontoBatch normalization normalizza le attivazioni usando media e varianza del batch. Riduce internal covariate shift, permette learning rates più alti, e agisce come regolarizzatore.
Esempi
- Stabilizzare training di reti profonde
- Accelerare convergenza
- Migliorare performance su vision tasks