Confronto
Regolarizzazione L1 e L2: differenze e quando usarle
Come L1 e L2 penalizzano i pesi, con effetto su sparsità, coefficienti e scelta della regolarizzazione. Confronta definizioni, formule, esempi svolti e criteri.
L1 e L2 aggiungono una penalità ai parametri per limitare la complessità. L1 usa il valore assoluto, L2 il quadrato: la geometria cambia sia i coefficienti appresi sia il gradiente.
L1 tende a portare alcuni coefficienti a zero, mentre L2 li riduce in modo più uniforme senza produrre la stessa sparsità.
Le differenze in sintesi
| Aspetto | L1 | L2 |
|---|---|---|
| Penalità | Σ|wᵢ| | Σwᵢ² |
| Coefficenti | Può azzerarli | Li riduce senza azzerarli facilmente |
| Gradiente | Segno costante, non derivabile in zero | Proporzionale al peso |
| Uso | Selezione implicita di feature | Pesi piccoli e stabili |
Due pesi con valori diversi
Per pesi 0,1 e 2, la penalità L1 vale 2,1 e L2 vale 4,01. L2 enfatizza il peso grande; L1 mantiene una pressione costante anche su quello piccolo.
Quale scegliere
Usa L1 quando la sparsità è utile e L2 quando vuoi conservare tutte le feature con magnitudine limitata. Elastic Net combina le due penalità.