Early Stopping
/ˈɜːrli ˈstɒpɪŋ/
Early Stopping: Una tecnica di regolarizzazione che ferma il training quando le performance su validation smettono di migliorare. L'early stopping monitora la validation loss durante il training e si ferma quando non migliora per un numero stabilito di epoche (pazienza).
In English: Early StoppingLegge III · Come una rete impara dai datiL'early stopping monitora la validation loss durante il training e si ferma quando non migliora per un numero stabilito di epoche (pazienza). Questo previene overfitting fermandosi prima che il modello memorizzi i dati di training.
Formula
Stop se val_loss non migliora per p valutazioni consecutive; ripristina il checkpoint migliore.
Esempio numerico
best, wait, patience = 0.4, 0, 3
scores = [0.45, 0.42, 0.43, 0.44, 0.46]
for score in scores:
if score < best: best, wait = score, 0
else: wait += 1
print(best, wait) # 0.4, 3Quando usarlo
Interrompe il training quando la generalizzazione smette di migliorare, conservando i pesi migliori.
Limiti
Rumore e pazienza influenzano il punto di stop; una metrica poco rappresentativa può terminare troppo presto.
Esempi
- Fermare training a epoca 50 quando validation loss si stabilizza
- Pazienza di 10 epoche
- Ripristino best weights
Autovalutazione
Tre domande per verificare la comprensione della voce. Le spiegazioni restano disponibili anche senza JavaScript.