Autoregressive Model

Autoregressive Model: Modelli che generano output sequenzialmente, dove ogni elemento dipende da quelli precedenti. I modelli autoregressivi come GPT predicono un token alla volta condizionato sui token precedenti. Usano causal masking per prevenire di vedere il futuro durante il training.

Legge III · Come una rete impara dai dati

I modelli autoregressivi come GPT predicono un token alla volta condizionato sui token precedenti. Usano causal masking per prevenire di vedere il futuro durante il training.

Esempi

  • GPT per generazione testo
  • PixelCNN per immagini
  • WaveNet per audio