Causal Language Modeling
Causal Language Modeling: Obiettivo che addestra il modello a prevedere il token successivo usando esclusivamente il contesto precedente. La maschera causale impedisce accesso al futuro. È il pretraining tipico dei GPT e supporta generazione autoregressiva. La trattazione collega definizione e uso nei sistemi di intelligenza artificiale.
In English: Causal language modellingLegge III · Come una rete impara dai datiLa maschera causale impedisce accesso al futuro. È il pretraining tipico dei GPT e supporta generazione autoregressiva.