Top-K Sampling

Top-K Sampling: Tecnica generazione testo campionando solo dai K token successivi più probabili. Restringe sampling ai top K token per probabilità. Riduce token improbabili mantenendo diversità. Comune: K=40-50. Esempi di applicazione: K=50 per generazione bilanciata, Generazione testo diversa, Evitare token rari.

In English: Top-K SamplingLegge II · Probabilità, softmax e modelli generativi

Restringe sampling ai top K token per probabilità. Riduce token improbabili mantenendo diversità. Comune: K=40-50.

Formula

V_k = insieme dei k token con probabilità maggiore; p′ᵢ = pᵢ/Σⱼ∈V_k pⱼ

Esempio numerico

import numpy as np
p = np.array([0.4, 0.25, 0.15, 0.1, 0.05, 0.05])
k = 3
idx = np.argsort(p)[-k:]
q = p[idx] / p[idx].sum()
print(idx, q)  # [0, 1, 2], [0.5, 0.3125, 0.1875]

Quando usarlo

Limita il campionamento ai k token più probabili per ridurre scelte improbabili mantenendo variabilità.

Limiti

Un k fisso ignora la forma della distribuzione e può essere troppo rigido o troppo permissivo; top-p adatta l’insieme.

Esempi

  • K=50 per generazione bilanciata
  • Generazione testo diversa
  • Evitare token rari

Autovalutazione

Tre domande per verificare la comprensione della voce. Le spiegazioni restano disponibili anche senza JavaScript.

1. Che cos’è Top-K Sampling?
Spiegazione

Top-K Sampling: Tecnica generazione testo campionando solo dai K token successivi più probabili. Restringe sampling ai top K token per probabilità. Riduce token improbabili mantenendo diversità. Comune: K=40-50. Esempi di applicazione: K=50 per generazione bilanciata, Generazione testo diversa, Evitare token rari.

2. Quale applicazione è coerente con Top-K Sampling?
Spiegazione

Limita il campionamento ai k token più probabili per ridurre scelte improbabili mantenendo variabilità.

3. Quale voce è collegata a Top-K Sampling?
Spiegazione

Le voci correlate sono scelte per collegamento tecnico, non per somiglianza casuale.