Cosine Annealing
Cosine Annealing: Scheduler che riduce il learning rate seguendo una curva coseno da un massimo verso un minimo prestabilito. Offre riduzione inizialmente lenta, poi più rapida e infine graduale. Restart e cicli multipli richiedono scelte coerenti con il budget di training.
In English: Cosine annealingLegge IV · Loss, gradiente e ottimizzatoriOffre riduzione inizialmente lenta, poi più rapida e infine graduale. Restart e cicli multipli richiedono scelte coerenti con il budget di training.