Batch Size

Batch Size: Numero di esempi di training processati insieme in un passaggio forward/backward. Batch più grandi: gradienti più stabili ma più memoria. Batch più piccoli: meno memoria ma gradienti più rumorosi. Comuni: 32, 64, 128, 256. Esempi di applicazione: Batch size 32, Training mini-batch, Full batch vs mini-batch.

In English: Batch SizeLegge IV · Loss, gradiente e ottimizzatori

Batch più grandi: gradienti più stabili ma più memoria. Batch più piccoli: meno memoria ma gradienti più rumorosi. Comuni: 32, 64, 128, 256.

Formula

Batch effettivo = batch per dispositivo × dispositivi × accumuli

Esempio numerico

per_device = 8
devices = 2
accumulation = 4
print(per_device * devices * accumulation)  # 64

Quando usarlo

Si sceglie considerando memoria, throughput e rumore del gradiente, poi si adattano learning rate e accumulo.

Limiti

Un batch grande non garantisce convergenza migliore e uno piccolo può richiedere più passi e learning rate minore.

Esempi

  • Batch size 32
  • Training mini-batch
  • Full batch vs mini-batch

Autovalutazione

Tre domande per verificare la comprensione della voce. Le spiegazioni restano disponibili anche senza JavaScript.

1. Che cos’è Batch Size?
Spiegazione

Batch Size: Numero di esempi di training processati insieme in un passaggio forward/backward. Batch più grandi: gradienti più stabili ma più memoria. Batch più piccoli: meno memoria ma gradienti più rumorosi. Comuni: 32, 64, 128, 256. Esempi di applicazione: Batch size 32, Training mini-batch, Full batch vs mini-batch.

2. Quale applicazione è coerente con Batch Size?
Spiegazione

Si sceglie considerando memoria, throughput e rumore del gradiente, poi si adattano learning rate e accumulo.

3. Quale voce è collegata a Batch Size?
Spiegazione

Le voci correlate sono scelte per collegamento tecnico, non per somiglianza casuale.