Autoregressive Model

Modelli che generano output sequenzialmente, dove ogni elemento dipende da quelli precedenti.

I modelli autoregressivi come GPT predicono un token alla volta condizionato sui token precedenti. Usano causal masking per prevenire di vedere il futuro durante il training.