Michele LaurelliBlog

Legge V · Overfitting, bias e collasso dei modelli

Esercizi sui limiti dell’AI

16 esercizi su overfitting, bias e collasso dei modelli con soluzioni passo passo, calcoli guidati e strumenti pratici per capire AI e machine learning.

Ripassa la legge V
0 di 16 completatiIl progresso resta su questo dispositivo
02

Esercizio 2

Perché F1 può nascondere problemi nei veri negativi?

Mostra la soluzione passo passo
  1. F1 usa TP, FP e FN, ma non TN.
  2. Con molti negativi, errori su quella parte non entrano nella metrica.
  3. Balanced accuracy, specificity e MCC offrono un quadro complementare.
Approfondimento nel glossarioVerifica con lo strumento
03

Esercizio 3

Perché un benchmark pubblico può sovrastimare un modello?

Mostra la soluzione passo passo
  1. Esempi simili possono essere stati visti nel training.
  2. Il punteggio misura memorizzazione o vicinanza ai dati.
  3. Overlap analysis e benchmark privati aiutano a verificare.
Approfondimento nel glossario
04

Esercizio 4

Perché un prompt injection in un documento è un problema di sistema?

Mostra la soluzione passo passo
  1. Il documento entra nel contesto come dato ma contiene istruzioni.
  2. Il modello può seguirle come se fossero autorizzate.
  3. Filtri su azioni, permessi e sandbox sono più affidabili dei soli divieti testuali.
Approfondimento nel glossario
05

Esercizio 5

Perché membership inference è un rischio privacy?

Mostra la soluzione passo passo
  1. Gli output possono rivelare se un esempio era nel training set.
  2. Questa informazione può riguardare una persona reale.
  3. Valutazione, minimizzazione e differential privacy riducono il rischio.
Approfondimento nel glossario
06

Esercizio 6

Perché una spiegazione SHAP non prova causalità?

Mostra la soluzione passo passo
  1. Attribuisce il contributo secondo confronti di coalizioni.
  2. Le feature correlate possono cambiare l’attribuzione.
  3. Descrive il comportamento del modello, non il meccanismo causale del mondo.
Approfondimento nel glossario
07

Esercizio 7

Perché un gruppo può subire più errori della media?

Mostra la soluzione passo passo
  1. La metrica aggregata nasconde la distribuzione per segmento.
  2. Campioni e condizioni operative cambiano fra gruppi.
  3. Valutazioni per gruppo e contesto aiutano a individuarli.
Approfondimento nel glossario
08

Esercizio 8

Perché la revisione umana deve avere autorità reale?

Mostra la soluzione passo passo
  1. Una conferma automatica non analizza il contesto.
  2. La persona deve capire evidenza, rischio e alternative.
  3. Deve poter fermare o modificare l’azione, non soltanto registrarla.
Approfondimento nel glossario
09

Esercizio 9

Calcola balanced accuracy con recall positiva 0.8 e specificity 0.9.

Mostra la soluzione passo passo
  1. Balanced accuracy è la media delle recall delle classi.
  2. Nel caso binario usa recall positiva e specificity.
  3. (0.8+0.9)/2=0.85.
Approfondimento nel glossarioVerifica con lo strumento
10

Esercizio 10

Perché accuracy al 99% può essere inutile nel rilevamento frodi?

Mostra la soluzione passo passo
  1. Se le frodi sono l’1%, prevedere sempre “non frode” dà 99%.
  2. Il sistema non trova alcun caso positivo.
  3. Recall, precision, PR-AUC e costo degli errori sono più informativi.
Approfondimento nel glossarioVerifica con lo strumento
11

Esercizio 11

Perché un attacco adversarial può trasferirsi fra modelli?

Mostra la soluzione passo passo
  1. Perturbazioni ottimizzate su un modello possono sfruttare regolarità condivise.
  2. Architetture e dati simili aumentano la possibilità di trasferimento.
  3. La robustezza va testata anche in condizioni black-box.
Approfondimento nel glossario
12

Esercizio 12

Che differenza c’è fra robustezza e accuratezza media?

Mostra la soluzione passo passo
  1. L’accuratezza misura prestazioni medie su una distribuzione.
  2. La robustezza considera perturbazioni, code e condizioni avverse.
  3. Un modello accurato può fallire gravemente su pochi casi critici.
Approfondimento nel glossario
13

Esercizio 13

Perché una model card non certifica la sicurezza?

Mostra la soluzione passo passo
  1. Documenta scopo, test e limiti noti, ma dipende dalla qualità delle valutazioni.
  2. Nuovi contesti possono introdurre rischi non osservati.
  3. Servono monitoraggio, controlli operativi e aggiornamento continuo.
Approfondimento nel glossario
14

Esercizio 14

Perché oscurare il nome non anonimizza necessariamente un dataset?

Mostra la soluzione passo passo
  1. Altre feature possono identificare indirettamente una persona.
  2. Il collegamento con fonti esterne può consentire reidentificazione.
  3. Servono minimizzazione, analisi del rischio e controlli d’accesso.
Approfondimento nel glossario
15

Esercizio 15

Perché un agente con strumenti richiede permessi minimi?

Mostra la soluzione passo passo
  1. Un prompt o documento malevolo può tentare di attivare azioni.
  2. Limitare scope, credenziali e operazioni riduce l’impatto.
  3. Conferme e log aggiungono controllo ma non sostituiscono il least privilege.
Approfondimento nel glossario
16

Esercizio 16

Perché il monitoraggio post-deploy deve includere segmenti?

Mostra la soluzione passo passo
  1. La media può restare stabile mentre un gruppo peggiora.
  2. Shift ed errori possono concentrarsi su dispositivi, lingue o popolazioni.
  3. Metriche segmentate e alert permettono interventi mirati.
Approfondimento nel glossario