Warmup del Learning Rate

Warmup del Learning Rate: Fase iniziale in cui il learning rate cresce gradualmente fino al valore previsto dallo scheduler successivo. Riduce aggiornamenti eccessivi nei primi passi, specialmente nei Transformer. Durata e curva incidono su stabilità e velocità di convergenza. La trattazione collega definizione e uso nei sistemi di intelligenza artificiale.