Top-K Sampling
Top-K Sampling: Tecnica generazione testo campionando solo dai K token successivi più probabili. Restringe sampling ai top K token per probabilità. Riduce token improbabili mantenendo diversità. Comune: K=40-50. Esempi di applicazione: K=50 per generazione bilanciata, Generazione testo diversa, Evitare token rari.
In English: Top-K SamplingLegge II · Probabilità, softmax e modelli generativiRestringe sampling ai top K token per probabilità. Riduce token improbabili mantenendo diversità. Comune: K=40-50.
Formula
V_k = insieme dei k token con probabilità maggiore; p′ᵢ = pᵢ/Σⱼ∈V_k pⱼ
Esempio numerico
import numpy as np
p = np.array([0.4, 0.25, 0.15, 0.1, 0.05, 0.05])
k = 3
idx = np.argsort(p)[-k:]
q = p[idx] / p[idx].sum()
print(idx, q) # [0, 1, 2], [0.5, 0.3125, 0.1875]Quando usarlo
Limita il campionamento ai k token più probabili per ridurre scelte improbabili mantenendo variabilità.
Limiti
Un k fisso ignora la forma della distribuzione e può essere troppo rigido o troppo permissivo; top-p adatta l’insieme.
Esempi
- K=50 per generazione bilanciata
- Generazione testo diversa
- Evitare token rari
Autovalutazione
Tre domande per verificare la comprensione della voce. Le spiegazioni restano disponibili anche senza JavaScript.