Funzione Sigmoide

/ˈsɪɡmɔɪd/

Funzione Sigmoide: Una funzione di attivazione che mappa input a valori tra 0 e 1: f(x) = 1/(1 + e^(-x)). La sigmoide è usata per output layer di classificazione binaria ed era storicamente popolare per hidden layers. Tuttavia, soffre di problemi di vanishing gradient in reti profonde.

In English: Sigmoid FunctionLegge II · Probabilità, softmax e modelli generativiConfronto: Sigmoide e softmax: differenze ed esempi d’uso

La sigmoide è usata per output layer di classificazione binaria ed era storicamente popolare per hidden layers. Tuttavia, soffre di problemi di vanishing gradient in reti profonde.

Formula

σ(x) = 1/(1+e^(−x)); σ′(x) = σ(x)(1−σ(x))

Esempio numerico

import numpy as np
x = np.array([-1.0, 0.0, 2.0])
s = 1 / (1 + np.exp(-x))
derivative = s * (1 - s)
print(s)          # [0.2689, 0.5, 0.8808]
print(derivative) # [0.1966, 0.25, 0.1050]

Quando usarlo

È adatta all’output di classificazione binaria e ai gate che devono limitare un valore fra 0 e 1.

Limiti

Per valori assoluti grandi satura e riduce il gradiente; negli strati nascosti profondi ReLU e varianti sono spesso preferibili.

Esempi

  • Output classificazione binaria
  • Regressione logistica
  • Meccanismi gate in LSTM

Attivazioni e derivate

Confronta le curve: attiva ogni funzione e la sua derivata per osservare saturazione e gradiente.

-4-224yx

    Autovalutazione

    Tre domande per verificare la comprensione della voce. Le spiegazioni restano disponibili anche senza JavaScript.

    1. Che cos’è Funzione Sigmoide?
    Spiegazione

    Funzione Sigmoide: Una funzione di attivazione che mappa input a valori tra 0 e 1: f(x) = 1/(1 + e^(-x)). La sigmoide è usata per output layer di classificazione binaria ed era storicamente popolare per hidden layers. Tuttavia, soffre di problemi di vanishing gradient in reti profonde.

    2. Quale applicazione è coerente con Funzione Sigmoide?
    Spiegazione

    È adatta all’output di classificazione binaria e ai gate che devono limitare un valore fra 0 e 1.

    3. Quale voce è collegata a Funzione Sigmoide?
    Spiegazione

    Le voci correlate sono scelte per collegamento tecnico, non per somiglianza casuale.