Temperature (Sampling)

Temperature (Sampling): Parametro controllante randomicità in generazione testo scalando logit prima di softmax. Temperature T divide logit. T < 1 rende distribuzione sharp (deterministica), T 1 flat (random). T = 0 è greedy, T = 1 non modificata. Esempi di applicazione: Temperature 0.7 per testo creativo, Temperature 0.1 per fattuale, Greedy decoding T=0.

In English: Temperature (Sampling)Legge II · Probabilità, softmax e modelli generativi

Temperature T divide logit. T < 1 rende distribuzione sharp (deterministica), T > 1 flat (random). T = 0 è greedy, T = 1 non modificata.

Esempi

  • Temperature 0.7 per testo creativo
  • Temperature 0.1 per fattuale
  • Greedy decoding T=0