Cross-Entropy
Cross-Entropy: Una funzione di loss comunemente usata per problemi di classificazione che misura la differenza tra distribuzioni di probabilità. La cross-entropy quantifica quanto le predizioni del modello divergono dalle etichette reali. Valori più bassi indicano predizioni migliori. Usata con softmax per classificazione multi-classe.
Legge II · Probabilità, softmax e modelli generativiLa cross-entropy quantifica quanto le predizioni del modello divergono dalle etichette reali. Valori più bassi indicano predizioni migliori. Usata con softmax per classificazione multi-classe.
Formula
L = −Σᵢ yᵢ log(pᵢ); per una classe: −log(p_y)
Esempio numerico
import numpy as np
p = np.array([0.1, 0.7, 0.2])
true_class = 1
print(-np.log(p[true_class])) # 0.3567Quando usarlo
Misura la distanza fra distribuzione prevista e target nella classificazione e si combina naturalmente con softmax.
Limiti
Probabilità troppo sicure producono gradienti forti anche quando sbagliate; smoothing e calibrazione possono essere necessari.
Esempi
- Classificazione di immagini
- Sentiment analysis
- Named Entity Recognition
Autovalutazione
Tre domande per verificare la comprensione della voce. Le spiegazioni restano disponibili anche senza JavaScript.