Nucleus Sampling (Top-P)

Nucleus Sampling (Top-P): Generazione testo campionando dal set più piccolo di token la cui probabilità cumulativa supera soglia P. Aggiusta dinamicamente dimensione vocabolario basandosi su distribuzione probabilità. Più flessibile di top-k. Comune: P=0.9-0.95. Esempi di applicazione: P=0.9 per generazione diversa, Selezione vocabolario dinamica, Migliore di top-k.

In English: Nucleus Sampling (Top-P)Legge II · Probabilità, softmax e modelli generativi

Aggiusta dinamicamente dimensione vocabolario basandosi su distribuzione probabilità. Più flessibile di top-k. Comune: P=0.9-0.95.

Esempi

  • P=0.9 per generazione diversa
  • Selezione vocabolario dinamica
  • Migliore di top-k