Causal Masking
Causal Masking: Tecnica di masking prevenendo attention a posizioni future in modelli autoregressivi. Assicura che token a posizione i può attendere solo posizioni ≤ i. Essenziale per modelli stile GPT. Implementato come mask triangolare. Esempi di applicazione: GPT generazione autoregressive, Decoder self-attention, Prevenire future leakage.
In English: Causal MaskingLegge III · Come una rete impara dai datiAssicura che token a posizione i può attendere solo posizioni ≤ i. Essenziale per modelli stile GPT. Implementato come mask triangolare.
Esempi
- GPT generazione autoregressive
- Decoder self-attention
- Prevenire future leakage