Confronto

ReLU e sigmoide: quale funzione di attivazione usare

Come ReLU e sigmoide cambiano gradiente, saturazione e interpretabilità, con esempi per strati nascosti e output. Confronta definizioni, formule, esempi svolti.

ReLU e sigmoide hanno ruoli complementari. ReLU lascia passare la parte positiva senza saturarla e azzera quella negativa; sigmoide comprime tutto fra 0 e 1.

La prima semplifica il gradiente negli strati nascosti, la seconda offre un output probabilistico o un gate limitato.

Le differenze in sintesi

AspettoReLUSigmoide
Output[0, +∞)(0, 1)
Gradiente positivoCostantePiccolo se satura
RischioNeuroni inattiviVanishing gradient
Uso tipicoStrati nascostiOutput binario e gate

Input negativo e positivo

Per x=−2, ReLU restituisce 0 e sigmoide circa 0,119. Per x=2, ReLU restituisce 2 e sigmoide circa 0,881: una conserva la scala positiva, l’altra la comprime.

Quale scegliere

Usa ReLU o varianti negli strati nascosti. Usa sigmoide quando il significato dell’output richiede un intervallo probabilistico o un gate.

Le due voci del glossario