Funzione Sigmoide
/ˈsɪɡmɔɪd/
Funzione Sigmoide: Una funzione di attivazione che mappa input a valori tra 0 e 1: f(x) = 1/(1 + e^(-x)). La sigmoide è usata per output layer di classificazione binaria ed era storicamente popolare per hidden layers. Tuttavia, soffre di problemi di vanishing gradient in reti profonde.
In English: Sigmoid FunctionLegge II · Probabilità, softmax e modelli generativiConfronto: Sigmoide e softmax: differenze ed esempi d’usoLa sigmoide è usata per output layer di classificazione binaria ed era storicamente popolare per hidden layers. Tuttavia, soffre di problemi di vanishing gradient in reti profonde.
Formula
σ(x) = 1/(1+e^(−x)); σ′(x) = σ(x)(1−σ(x))
Esempio numerico
import numpy as np
x = np.array([-1.0, 0.0, 2.0])
s = 1 / (1 + np.exp(-x))
derivative = s * (1 - s)
print(s) # [0.2689, 0.5, 0.8808]
print(derivative) # [0.1966, 0.25, 0.1050]Quando usarlo
È adatta all’output di classificazione binaria e ai gate che devono limitare un valore fra 0 e 1.
Limiti
Per valori assoluti grandi satura e riduce il gradiente; negli strati nascosti profondi ReLU e varianti sono spesso preferibili.
Esempi
- Output classificazione binaria
- Regressione logistica
- Meccanismi gate in LSTM
Attivazioni e derivate
Confronta le curve: attiva ogni funzione e la sua derivata per osservare saturazione e gradiente.
Autovalutazione
Tre domande per verificare la comprensione della voce. Le spiegazioni restano disponibili anche senza JavaScript.