Nucleus Sampling (Top-P)
Nucleus Sampling (Top-P): Generazione testo campionando dal set più piccolo di token la cui probabilità cumulativa supera soglia P. Aggiusta dinamicamente dimensione vocabolario basandosi su distribuzione probabilità. Più flessibile di top-k. Comune: P=0.9-0.95. Esempi di applicazione: P=0.9 per generazione diversa, Selezione vocabolario dinamica, Migliore di top-k.
In English: Nucleus Sampling (Top-P)Legge II · Probabilità, softmax e modelli generativiAggiusta dinamicamente dimensione vocabolario basandosi su distribuzione probabilità. Più flessibile di top-k. Comune: P=0.9-0.95.
Esempi
- P=0.9 per generazione diversa
- Selezione vocabolario dinamica
- Migliore di top-k