Cross-Entropy

Cross-Entropy: Una funzione di loss comunemente usata per problemi di classificazione che misura la differenza tra distribuzioni di probabilità. La cross-entropy quantifica quanto le predizioni del modello divergono dalle etichette reali. Valori più bassi indicano predizioni migliori. Usata con softmax per classificazione multi-classe.

Legge II · Probabilità, softmax e modelli generativi

La cross-entropy quantifica quanto le predizioni del modello divergono dalle etichette reali. Valori più bassi indicano predizioni migliori. Usata con softmax per classificazione multi-classe.

Formula

L = −Σᵢ yᵢ log(pᵢ); per una classe: −log(p_y)

Esempio numerico

import numpy as np
p = np.array([0.1, 0.7, 0.2])
true_class = 1
print(-np.log(p[true_class]))  # 0.3567

Quando usarlo

Misura la distanza fra distribuzione prevista e target nella classificazione e si combina naturalmente con softmax.

Limiti

Probabilità troppo sicure producono gradienti forti anche quando sbagliate; smoothing e calibrazione possono essere necessari.

Esempi

  • Classificazione di immagini
  • Sentiment analysis
  • Named Entity Recognition

Autovalutazione

Tre domande per verificare la comprensione della voce. Le spiegazioni restano disponibili anche senza JavaScript.

1. Che cos’è Cross-Entropy?
Spiegazione

Cross-Entropy: Una funzione di loss comunemente usata per problemi di classificazione che misura la differenza tra distribuzioni di probabilità. La cross-entropy quantifica quanto le predizioni del modello divergono dalle etichette reali. Valori più bassi indicano predizioni migliori. Usata con softmax per classificazione multi-classe.

2. Quale applicazione è coerente con Cross-Entropy?
Spiegazione

Misura la distanza fra distribuzione prevista e target nella classificazione e si combina naturalmente con softmax.

3. Quale voce è collegata a Cross-Entropy?
Spiegazione

Le voci correlate sono scelte per collegamento tecnico, non per somiglianza casuale.