Learning Rate Schedule
/ˈlɜːrnɪŋ reɪt ˈʃɛdjuːl/
Learning Rate Schedule: Una strategia per aggiustare il learning rate durante il training per migliorare convergenza e performance. Gli schedule del learning rate riducono il learning rate nel tempo. Strategie comuni includono step decay, exponential decay, cosine annealing e warm restart.
In English: Learning Rate ScheduleLegge IV · Loss, gradiente e ottimizzatoriGli schedule del learning rate riducono il learning rate nel tempo. Strategie comuni includono step decay, exponential decay, cosine annealing e warm restart. Questo aiuta a fine-tune i pesi mentre il training progredisce.
Esempi
- Riduzione LR su plateau
- Cosine annealing
- Schedule warm-up + decay