Legge IV · Guida essenziale

Ottimizzazione AI: loss, gradiente e ottimizzatori

Come loss, gradiente, learning rate e ottimizzatori guidano il training e l’efficienza dei modelli. Esplora le voci e gli articoli collegati.

6 capitoli64 concetti16 esercizi

«Ottimizzare significa scegliere un compromesso misurabile, non inseguire il numero più basso a qualunque costo.»

Il principio

Prima della tecnica, il significato

L’ottimizzazione cerca parametri che rendano piccola una funzione di perdita. Il gradiente indica la direzione locale di maggiore crescita, quindi la discesa si muove in quella opposta. Learning rate, momentum e ottimizzatori adattivi decidono quanto lungo e stabile sia ogni passaggio.

La geometria del problema è raramente semplice. Loss diverse misurano obiettivi diversi: MSE e MAE per la regressione, cross-entropy per la classificazione, triplet e focal loss per distanze e squilibri. Batch size, normalizzazione, clipping e accumulo cambiano il comportamento numerico e la quantità di memoria necessaria.

Ottimizzare non termina con il training. Quantizzazione, pruning, mixed precision e serving efficiente riducono il costo dell’inferenza, mentre routing e scheduling distribuiscono il lavoro. Ogni intervento scambia accuratezza, memoria, latenza o energia: il valore si misura sul sistema completo e sul compito reale, non da un singolo benchmark.

Anche la scelta dell’ottimizzatore ha un contesto. SGD con momentum offre una dinamica semplice e prevedibile; Adam adatta i passi alle statistiche dei gradienti e richiede attenzione a weight decay e regolarizzazione. Scheduler e clipping non sostituiscono una loss ben posta: prima di accelerare il training occorre sapere quale errore si sta davvero riducendo.

Per confrontare due configurazioni serve fissare il resto. Dataset, seed, batch e metriche devono restare coerenti, altrimenti il vantaggio può dipendere dal rumore o dall’hardware. Curve di training e validation, memoria e tempo per epoca offrono un quadro più completo del singolo minimo raggiunto e aiutano a scegliere il punto realmente efficiente.

Formula e strutturaminθ L(θ) · memoria + latenza + qualità + energia

Capitolo 1

La loss come funzione di costo

MSE penalizza quadraticamente gli errori grandi, MAE linearmente, Huber combina le due regioni. Cross-entropy misura la qualità probabilistica della classe, triplet loss organizza distanze e focal loss cambia il peso degli esempi facili. La scelta definisce quali errori siano economicamente rilevanti per l’algoritmo.

RMSE riporta MSE nell’unità del target, ma non cambia il ranking delle configurazioni. Una metrica di training e una metrica di prodotto possono differire: il sistema ottimizza una surrogato differenziabile mentre il risultato viene valutato con precisione, vincoli o costi reali. La distanza fra questi livelli va resa esplicita.

Scrivi la loss prima dello scheduler.
Collega ogni metrica a un costo reale.
Non confrontare loss con scale o dataset differenti.

Capitolo 2

Gradiente, passo e curvatura

Su f(x)=(x−3)², la discesa mostra immediatamente il ruolo del learning rate: passi piccoli convergono lentamente, passi adeguati rapidamente, passi eccessivi oscillano e divergono. Nei problemi reali la curvatura varia fra direzioni e regioni. Hessiana e Jacobiana descrivono queste proprietà, ma il loro calcolo completo è raramente praticabile.

Momentum accumula una direzione, Adam mantiene primo e secondo momento con bias correction. AdamW separa weight decay dall’aggiornamento adattivo. Nessun ottimizzatore elimina la necessità di scegliere scala, inizializzazione e budget: un buon risultato nasce dall’interazione fra componenti.

Capitolo 3

Scheduler e stabilità numerica

Step, cosine, polynomial e one-cycle distribuiscono il learning rate nel tempo. Warmup riduce la bruschezza iniziale; cosine annealing rallenta la discesa verso la fine. Confrontare scheduler richiede stesso dataset, seed e durata, altrimenti il vantaggio può dipendere semplicemente da maggior compute.

Gradient clipping limita la norma senza cambiare direzione; mixed precision riduce memoria ma introduce underflow e arrotondamenti da controllare. Loss scaling, master weights e accumuli a precisione maggiore stabilizzano dove serve. Un training veloce che diverge periodicamente non è realmente più efficiente.

Capitolo 4

Batch, memoria e parallelismo

Il batch effettivo combina micro-batch, dispositivi e accumulo. Aumentarlo riduce il rumore del gradiente ma richiede memoria e può cambiare generalizzazione; ridurlo ha effetto opposto. Learning rate e scheduler vanno rivalutati senza applicare regole di scaling come leggi universali.

Data parallelism replica il modello, tensor parallelism divide layer, pipeline parallelism distribuisce stadi. Gradient checkpointing ricalcola attivazioni per risparmiare memoria. Ogni strategia sposta il collo di bottiglia fra calcolo, comunicazione e scheduling: il throughput si misura sull’intero sistema.

Calcola il batch effettivo.
Misura comunicazione e memoria.
Verifica qualità oltre al throughput.

Capitolo 5

Ottimizzare anche l’inferenza

Quantizzazione riduce i bit di pesi e attivazioni; pruning elimina connessioni; FlashAttention riduce trasferimenti di memoria senza cambiare l’attenzione logica. Continuous batching e PagedAttention migliorano serving e KV cache. Sono interventi diversi che non vanno confusi con modifiche all’obiettivo di apprendimento.

Il guadagno teorico non sempre diventa latenza reale: kernel, hardware e formato decidono. INT4 riduce memoria ma può richiedere dequantizzazione e calibrazione. La valutazione include qualità, memoria, latenza per richiesta e comportamento sotto carico, non soltanto dimensione del file.

Capitolo 6

Protocollo di confronto

Un esperimento utile cambia una variabile alla volta e conserva configurazione, seed e artefatti. Training e validation curve, tempo per epoca, memoria e metriche finali formano un quadro congiunto. Selezionare il minimo migliore dopo decine di tentativi senza correzione aumenta il rischio di sovrastimare il risultato.

Il punto da rilasciare non è necessariamente quello con la loss minima: può essere quello che soddisfa vincoli di qualità e costo con margine. Ottimizzazione è una decisione sotto compromessi, supportata da misure riproducibili e da una chiara definizione di “abbastanza”.

Laboratorio