Batch Size
Batch Size: Numero di esempi di training processati insieme in un passaggio forward/backward. Batch più grandi: gradienti più stabili ma più memoria. Batch più piccoli: meno memoria ma gradienti più rumorosi. Comuni: 32, 64, 128, 256. Esempi di applicazione: Batch size 32, Training mini-batch, Full batch vs mini-batch.
In English: Batch SizeLegge IV · Loss, gradiente e ottimizzatoriBatch più grandi: gradienti più stabili ma più memoria. Batch più piccoli: meno memoria ma gradienti più rumorosi. Comuni: 32, 64, 128, 256.
Formula
Batch effettivo = batch per dispositivo × dispositivi × accumuli
Esempio numerico
per_device = 8
devices = 2
accumulation = 4
print(per_device * devices * accumulation) # 64Quando usarlo
Si sceglie considerando memoria, throughput e rumore del gradiente, poi si adattano learning rate e accumulo.
Limiti
Un batch grande non garantisce convergenza migliore e uno piccolo può richiedere più passi e learning rate minore.
Esempi
- Batch size 32
- Training mini-batch
- Full batch vs mini-batch
Autovalutazione
Tre domande per verificare la comprensione della voce. Le spiegazioni restano disponibili anche senza JavaScript.