Confronto

Sigmoide e softmax: differenze ed esempi d’uso

Come sigmoide e softmax trasformano i valori in probabilità, differenze fra classificazione binaria e multiclasse con esempi. Confronta definizioni, formule.

Sigmoide e softmax limitano valori fra 0 e 1, ma rispondono a problemi diversi. La sigmoide agisce su ogni input separatamente; softmax normalizza un insieme di punteggi in una distribuzione che somma a 1.

Per questo la prima è naturale per esiti binari o gate, mentre la seconda è comune per una scelta fra più classi.

Le differenze in sintesi

AspettoSigmoideSoftmax
InputUno score alla voltaUn vettore di score
OutputValori indipendentiProbabilità con somma 1
Uso tipicoClassi binarie e gateClassi multiple e token
DipendenzaOgni output non dipende dagli altriOgni classe influenza le altre

Due tipi di normalizzazione

Con score 0 e 2, la sigmoide restituisce circa 0,50 e 0,88 e non impone una somma. Softmax su [0,2] produce circa [0,119, 0,881], assegnando tutta la probabilità disponibile alle due classi.

Quale scegliere

Usa una o due sigmoidi per esiti indipendenti o multilabel. Usa softmax quando le classi sono mutuamente esclusive e serve una distribuzione.

Le due voci del glossario