Benchmark Contamination
Benchmark Contamination: Presenza nei dati di addestramento di esempi uguali o simili a quelli usati per valutare il modello. Può gonfiare i risultati perché misura memorizzazione invece di generalizzazione. Analisi di overlap, benchmark privati e test temporali riducono il problema.
In English: Benchmark contaminationLegge V · Overfitting, bias e collasso dei modelliPuò gonfiare i risultati perché misura memorizzazione invece di generalizzazione. Analisi di overlap, benchmark privati e test temporali riducono il problema.
Esempi
- Domande pubbliche presenti nel pretraining
- Duplicati quasi identici nel test set
- Benchmark privato di validazione