Michele LaurelliBlog

Mixed Precision

Mixed Precision: Addestramento o inferenza che combina formati numerici a precisione diversa per ridurre memoria e calcolo. Operazioni come le moltiplicazioni matriciali usano spesso FP16 o BF16, mentre accumuli e parametri master restano a precisione maggiore. La loss scaling aiuta a evitare underflow nei gradienti a bassa precisione.

In English: Mixed precisionLegge IV · Loss, gradiente e ottimizzatori

Operazioni come le moltiplicazioni matriciali usano spesso FP16 o BF16, mentre accumuli e parametri master restano a precisione maggiore. La loss scaling aiuta a evitare underflow nei gradienti a bassa precisione.

Esempi

  • BF16 su acceleratori recenti
  • FP16 con gradient scaler
  • Master weights in FP32