Funzione Softmax
/ˈsɒftmæks/
Funzione Softmax: Una funzione di attivazione che converte un vettore di valori in una distribuzione di probabilità che somma a 1. Softmax è usata negli output layer di classificazione multi-classe. Esponenzia ogni valore e normalizza per la somma, producendo probabilità interpretabili per ogni classe.
In English: Softmax FunctionLegge II · Probabilità, softmax e modelli generativiConfronto: Sigmoide e softmax: differenze ed esempi d’usoSoftmax è usata negli output layer di classificazione multi-classe. Esponenzia ogni valore e normalizza per la somma, producendo probabilità interpretabili per ogni classe.
Formula
pᵢ = exp(zᵢ/T) / Σⱼ exp(zⱼ/T)
Esempio numerico
import numpy as np
z = np.array([1.0, 2.0, 3.0])
T = 0.5
p = np.exp(z / T)
p /= p.sum()
print(p) # [0.0156, 0.1173, 0.8671]Quando usarlo
Si usa nell’output della classificazione multiclasse e nella predizione del token successivo. La temperatura regola quanto la distribuzione sia concentrata.
Limiti
Le probabilità non sono automaticamente calibrate e valori molto grandi possono causare overflow se non si sottrae il massimo prima dell’esponenziale.
Esempi
- Classificazione multi-classe
- Predizione next-token in language model
- Output classificazione immagini
Prova la softmax
Modifica i punteggi e la temperatura: una T bassa concentra la probabilità, una T alta la distribuisce.
Autovalutazione
Tre domande per verificare la comprensione della voce. Le spiegazioni restano disponibili anche senza JavaScript.