Funzione Softmax

/ˈsɒftmæks/

Funzione Softmax: Una funzione di attivazione che converte un vettore di valori in una distribuzione di probabilità che somma a 1. Softmax è usata negli output layer di classificazione multi-classe. Esponenzia ogni valore e normalizza per la somma, producendo probabilità interpretabili per ogni classe.

In English: Softmax FunctionLegge II · Probabilità, softmax e modelli generativiConfronto: Sigmoide e softmax: differenze ed esempi d’uso

Softmax è usata negli output layer di classificazione multi-classe. Esponenzia ogni valore e normalizza per la somma, producendo probabilità interpretabili per ogni classe.

Formula

pᵢ = exp(zᵢ/T) / Σⱼ exp(zⱼ/T)

Esempio numerico

import numpy as np
z = np.array([1.0, 2.0, 3.0])
T = 0.5
p = np.exp(z / T)
p /= p.sum()
print(p)  # [0.0156, 0.1173, 0.8671]

Quando usarlo

Si usa nell’output della classificazione multiclasse e nella predizione del token successivo. La temperatura regola quanto la distribuzione sia concentrata.

Limiti

Le probabilità non sono automaticamente calibrate e valori molto grandi possono causare overflow se non si sottrae il massimo prima dell’esponenziale.

Esempi

  • Classificazione multi-classe
  • Predizione next-token in language model
  • Output classificazione immagini

Prova la softmax

Modifica i punteggi e la temperatura: una T bassa concentra la probabilità, una T alta la distribuisce.

Autovalutazione

Tre domande per verificare la comprensione della voce. Le spiegazioni restano disponibili anche senza JavaScript.

1. Che cos’è Funzione Softmax?
Spiegazione

Funzione Softmax: Una funzione di attivazione che converte un vettore di valori in una distribuzione di probabilità che somma a 1. Softmax è usata negli output layer di classificazione multi-classe. Esponenzia ogni valore e normalizza per la somma, producendo probabilità interpretabili per ogni classe.

2. Quale applicazione è coerente con Funzione Softmax?
Spiegazione

Si usa nell’output della classificazione multiclasse e nella predizione del token successivo. La temperatura regola quanto la distribuzione sia concentrata.

3. Quale voce è collegata a Funzione Softmax?
Spiegazione

Le voci correlate sono scelte per collegamento tecnico, non per somiglianza casuale.