Learning Rate Schedule

/ˈlɜːrnɪŋ reɪt ˈʃɛdjuːl/

Learning Rate Schedule: Una strategia per aggiustare il learning rate durante il training per migliorare convergenza e performance. Gli schedule del learning rate riducono il learning rate nel tempo. Strategie comuni includono step decay, exponential decay, cosine annealing e warm restart.

In English: Learning Rate ScheduleLegge IV · Loss, gradiente e ottimizzatori

Gli schedule del learning rate riducono il learning rate nel tempo. Strategie comuni includono step decay, exponential decay, cosine annealing e warm restart. Questo aiuta a fine-tune i pesi mentre il training progredisce.

Esempi

  • Riduzione LR su plateau
  • Cosine annealing
  • Schedule warm-up + decay