Perplexity

Perplexity: Misurazione di quanto bene un modello probabilistico predice un campione, per valutare language model. Perplexity = exp(crossentropy). Perplexity più bassa indica predizione migliore. Comunemente usata per valutazione LM. Esempi di applicazione: Valutazione language model, Metrica performance GPT, Qualità generazione testo.

In English: PerplexityLegge II · Probabilità, softmax e modelli generativi

Perplexity = exp(cross_entropy). Perplexity più bassa indica predizione migliore. Comunemente usata per valutazione LM.

Esempi

  • Valutazione language model
  • Metrica performance GPT
  • Qualità generazione testo