Causal Masking

Tecnica di masking prevenendo attention a posizioni future in modelli autoregressivi.

In English: Causal Masking

Assicura che token a posizione i può attendere solo posizioni ≤ i. Essenziale per modelli stile GPT. Implementato come mask triangolare.

Esempi

  • GPT generazione autoregressive
  • Decoder self-attention
  • Prevenire future leakage