Top-K Sampling

Top-K Sampling: Text generation technique sampling from only the K most likely next tokens. Restricts sampling to top K tokens by probability. Reduces unlikely tokens while maintaining diversity. Common: K=40-50. Examples include K=50 for balanced generation, Diverse text generation, Avoiding rare tokens.

In italiano: Top-K SamplingLegge II · Probabilità, softmax e modelli generativi

Restricts sampling to top K tokens by probability. Reduces unlikely tokens while maintaining diversity. Common: K=40-50.

Examples

  • K=50 for balanced generation
  • Diverse text generation
  • Avoiding rare tokens

Autovalutazione

Tre domande per verificare la comprensione della voce. Le spiegazioni restano disponibili anche senza JavaScript.

1. Che cos’è Top-K Sampling?
Spiegazione

Top-K Sampling: Text generation technique sampling from only the K most likely next tokens. Restricts sampling to top K tokens by probability. Reduces unlikely tokens while maintaining diversity. Common: K=40-50. Examples include K=50 for balanced generation, Diverse text generation, Avoiding rare tokens.

2. Quale applicazione è coerente con Top-K Sampling?
Spiegazione

Un esempio è K=50 for balanced generation.

3. Quale voce è collegata a Top-K Sampling?
Spiegazione

Le voci correlate sono scelte per collegamento tecnico, non per somiglianza casuale.