Confronto
ReLU e sigmoide: quale funzione di attivazione usare
Come ReLU e sigmoide cambiano gradiente, saturazione e interpretabilità, con esempi per strati nascosti e output. Confronta definizioni, formule, esempi svolti.
ReLU e sigmoide hanno ruoli complementari. ReLU lascia passare la parte positiva senza saturarla e azzera quella negativa; sigmoide comprime tutto fra 0 e 1.
La prima semplifica il gradiente negli strati nascosti, la seconda offre un output probabilistico o un gate limitato.
Le differenze in sintesi
| Aspetto | ReLU | Sigmoide |
|---|---|---|
| Output | [0, +∞) | (0, 1) |
| Gradiente positivo | Costante | Piccolo se satura |
| Rischio | Neuroni inattivi | Vanishing gradient |
| Uso tipico | Strati nascosti | Output binario e gate |
Input negativo e positivo
Per x=−2, ReLU restituisce 0 e sigmoide circa 0,119. Per x=2, ReLU restituisce 2 e sigmoide circa 0,881: una conserva la scala positiva, l’altra la comprime.
Quale scegliere
Usa ReLU o varianti negli strati nascosti. Usa sigmoide quando il significato dell’output richiede un intervallo probabilistico o un gate.