Learning Rate Schedule
/ˈlɜːrnɪŋ reɪt ˈʃɛdjuːl/
Una strategia per aggiustare il learning rate durante il training per migliorare convergenza e performance.
In English: Learning Rate ScheduleGli schedule del learning rate riducono il learning rate nel tempo. Strategie comuni includono step decay, exponential decay, cosine annealing e warm restart. Questo aiuta a fine-tune i pesi mentre il training progredisce.
Esempi
- Riduzione LR su plateau
- Cosine annealing
- Schedule warm-up + decay