Nucleus Sampling (Top-P)

Generazione testo campionando dal set più piccolo di token la cui probabilità cumulativa supera soglia P.

In English: Nucleus Sampling (Top-P)

Aggiusta dinamicamente dimensione vocabolario basandosi su distribuzione probabilità. Più flessibile di top-k. Comune: P=0.9-0.95.

Esempi

  • P=0.9 per generazione diversa
  • Selezione vocabolario dinamica
  • Migliore di top-k