Autoregressive Model
Autoregressive Model: Modelli che generano output sequenzialmente, dove ogni elemento dipende da quelli precedenti. I modelli autoregressivi come GPT predicono un token alla volta condizionato sui token precedenti. Usano causal masking per prevenire di vedere il futuro durante il training.
Legge III · Come una rete impara dai datiI modelli autoregressivi come GPT predicono un token alla volta condizionato sui token precedenti. Usano causal masking per prevenire di vedere il futuro durante il training.
Esempi
- GPT per generazione testo
- PixelCNN per immagini
- WaveNet per audio