Calibration
Calibration: Grado di corrispondenza tra confidenza prevista e frequenza con cui le predizioni risultano corrette. Tra casi con confidenza 0,8, un modello calibrato dovrebbe sbagliare circa il 20%. Reliability diagram, Expected Calibration Error e riscalamento della temperatura aiutano a misurare e migliorare questa proprietà.
In English: CalibrationLegge II · Probabilità, softmax e modelli generativiTra casi con confidenza 0,8, un modello calibrato dovrebbe sbagliare circa il 20%. Reliability diagram, Expected Calibration Error e riscalamento della temperatura aiutano a misurare e migliorare questa proprietà.
Formula
ECE = Σ_b (n_b/n) · |acc(b) − conf(b)|
Esempi
- Temperature scaling sul validation set
- Reliability diagram a dieci bin
- Probabilità usate in decisioni mediche