Post-Training Quantization
Post-Training Quantization: Quantizzazione applicata dopo l’addestramento per ridurre memoria e costo dell’inferenza. Calibra scale e zero-point su pesi e, quando richiesto, attivazioni senza riaddestrare il modello. Un set rappresentativo e test sul compito rilevano perdite di precisione. Esempi di applicazione: INT8 dopo il training, Calibrazione su esempi reali, GGUF quantizzato.
In English: Post-training quantizationLegge IV · Loss, gradiente e ottimizzatoriCalibra scale e zero-point su pesi e, quando richiesto, attivazioni senza riaddestrare il modello. Un set rappresentativo e test sul compito rilevano perdite di precisione.
Esempi
- INT8 dopo il training
- Calibrazione su esempi reali
- GGUF quantizzato