Gradient Accumulation
Gradient Accumulation: Accumulo dei gradienti su più mini-batch prima di aggiornare i pesi, simulando un batch più grande. Riduce la memoria necessaria perché ogni mini-batch viene elaborato separatamente. Il numero di passi di accumulo modifica il batch effettivo e richiede coerenza tra normalizzazione della loss, learning rate e scheduler.
In English: Gradient accumulationLegge IV · Loss, gradiente e ottimizzatoriRiduce la memoria necessaria perché ogni mini-batch viene elaborato separatamente. Il numero di passi di accumulo modifica il batch effettivo e richiede coerenza tra normalizzazione della loss, learning rate e scheduler.
Formula
Batch effettivo = batch per dispositivo × accumuli × dispositivi
Esempi
- Otto mini-batch da 4 per un batch effettivo di 32
- Training di LLM con memoria limitata
- Normalizzazione della loss per accumulo