I limiti dell'AI: overfitting, bias e collasso dei modelli

Capitolo 1

Oltre la metrica media

Accuracy e loss riassumono molti casi in un numero, ma il danno può concentrarsi nelle code o in un gruppo. Con frodi all’1%, prevedere sempre negativo dà 99% accuracy e zero utilità per la classe rara. Precision, recall, balanced accuracy e MCC rispondono a domande differenti e non vanno scelti per abitudine.

Anche un’ottima metrica non descrive automaticamente il rischio: occorre collegarla all’impatto. Un falso positivo può costare una verifica, un falso negativo una perdita grave. Segmenti, worst-case e analisi qualitativa mostrano dove il modello fallisce e se il fallimento sia accettabile.

• Dichiara il costo degli errori.
• Guarda distribuzione e code.
• Misura per gruppi e condizioni operative.

Capitolo 2

Robustezza, shift e attacchi

Robustezza significa mantenere comportamento sotto una perturbazione definita, non una generica promessa di stabilità. Distribution shift cambia dati o relazioni; adversarial example introduce modifiche intenzionali; backdoor attiva comportamenti con un trigger. Sono fenomeni distinti che richiedono test e controlli diversi.

Red teaming cerca modalità di fallimento prima del rilascio, ma non copre il futuro. Monitoring e incident response mantengono il sistema osservabile. Una difesa efficace combina validazione, permessi minimi, sandbox, limiti d’azione e possibilità di rollback.

Capitolo 3

Allucinazioni e sistemi che agiscono

Un testo fluente può contenere affermazioni false senza segnali interni evidenti. Fonti e retrieval riducono il problema soltanto se il recupero è pertinente e la risposta resta ancorata alle evidenze. La citazione va verificata: un link corretto può sostenere una tesi diversa da quella scritta.

Quando un agente usa strumenti, l’errore può diventare azione. Prompt injection diretta o contenuta in documenti tenta di trasformare dati in istruzioni. Filtri testuali non bastano: least privilege, conferme, allowlist e separazione fra contenuto e autorità limitano l’impatto.

Capitolo 4

Privacy, memorizzazione e inferenza

Model inversion, membership inference e reidentificazione sfruttano informazioni differenti. Rimuovere nomi non anonimizza un dataset se attributi combinati identificano una persona. Anche output aggregati possono rivelare troppo quando vengono ripetuti o collegati a fonti esterne.

Differential privacy limita formalmente l’influenza di un individuo tramite meccanismi randomizzati e un budget. Epsilon e composizione rendono il costo cumulativo esplicito, con compromesso sull’utilità. Privacy by design comprende minimizzazione, accessi, retention e verifica, non soltanto una tecnica di training.

• Riduci i dati raccolti.
• Valuta attacchi e collegamenti esterni.
• Contabilizza ogni rilascio nel budget privacy.

Capitolo 5

Equità e spiegazioni senza illusioni

Demographic parity, equalized odds e calibration per gruppo formalizzano intuizioni diverse e possono entrare in conflitto. Non esiste una metrica che risolva da sola una questione sociale e giuridica. La scelta richiede contesto, persone coinvolte e analisi delle conseguenze.

SHAP e attribuzioni descrivono contributi nel modello, non cause nel mondo. Feature correlate possono cambiare la spiegazione lasciando simile la predizione. Model card e documentazione aiutano solo se dichiarano limiti reali e vengono aggiornati con dati, versioni e deployment.

Capitolo 6

Governance come capacità operativa

Un controllo è reale quando ha un proprietario, una soglia e una procedura. Human-in-the-loop richiede tempo, evidenza e autorità per modificare o fermare il sistema; una conferma automatica aggiunge soltanto un passaggio. Le escalation devono essere esercitate prima dell’incidente.

La documentazione finale include scopo, esclusioni, dati, test, limiti noti, monitoraggio e criteri di arresto. Conoscere i limiti non è retorica prudente: è ciò che permette di usare il modello dove produce valore senza chiedergli di essere infallibile.