Michele LaurelliBlog

Strumento gratuito · calcolo nel browser

Grafico funzioni di attivazione e derivate

Confronta sigmoide, tanh, ReLU, GELU e SiLU con derivate, saturazione e curve interattive su uno stesso grafico. Con esempi guidati e configurazioni.

-4-224yx

    Come funziona il calcolo

    σ(x)=11+e−x,ReLU⁡(x)=max⁡(0,x),SiLU⁡(x)=xσ(x)\sigma(x)=\frac{1}{1+e^{-x}},\quad \operatorname{ReLU}(x)=\max(0,x),\quad \operatorname{SiLU}(x)=x\sigma(x)
    Formula in testo semplice\sigma(x)=\frac{1}{1+e^{-x}},\quad \operatorname{ReLU}(x)=\max(0,x),\quad \operatorname{SiLU}(x)=x\sigma(x)

    Le funzioni di attivazione introducono non linearità e influenzano il flusso del gradiente. Sigmoide e tanh limitano l’uscita ma saturano per input grandi; ReLU è semplice e non satura per valori positivi.

    GELU e SiLU sono funzioni lisce molto usate nei modelli moderni. La visualizzazione congiunta permette di confrontare comportamento vicino allo zero, code e derivate senza eseguire un modello.

    La derivata di ReLU in zero non è definita nel senso classico: i framework scelgono una convenzione per la subderivata. Il grafico è didattico e non sostituisce test su architettura e dati reali.