AdamW

AdamW: Variante di Adam che separa weight decay dall’aggiornamento adattivo basato sui momenti del gradiente. Il disaccoppiamento evita che la penalità L2 venga scalata come il gradiente. Learning rate e coefficiente di decadimento restano iperparametri distinti. La trattazione collega definizione e uso nei sistemi di intelligenza artificiale.