Causal Masking

Causal Masking: Tecnica di masking prevenendo attention a posizioni future in modelli autoregressivi. Assicura che token a posizione i può attendere solo posizioni ≤ i. Essenziale per modelli stile GPT. Implementato come mask triangolare. Esempi di applicazione: GPT generazione autoregressive, Decoder self-attention, Prevenire future leakage.

In English: Causal MaskingLegge III · Come una rete impara dai dati

Assicura che token a posizione i può attendere solo posizioni ≤ i. Essenziale per modelli stile GPT. Implementato come mask triangolare.

Esempi

  • GPT generazione autoregressive
  • Decoder self-attention
  • Prevenire future leakage