Model Collapse
Model Collapse: Progressivo degrado di un modello generativo addestrato su dati sintetici prodotti da generazioni precedenti. Quando i dati generati sostituiscono progressivamente quelli reali, gli errori e le regioni poco rappresentate possono amplificarsi. La gravità dipende da filtri, proporzione dei dati sintetici e conservazione della distribuzione originale.
In English: Model collapseLegge V · Overfitting, bias e collasso dei modelliQuando i dati generati sostituiscono progressivamente quelli reali, gli errori e le regioni poco rappresentate possono amplificarsi. La gravità dipende da filtri, proporzione dei dati sintetici e conservazione della distribuzione originale.
Esempi
- Crollo della diversità lessicale in catene di modelli
- Perdita delle code della distribuzione
- Dataset sintetici accumulati senza dati reali