Legge II · Guida essenziale

Incertezza AI: probabilità, softmax e modelli generativi

Come probabilità, campionamento e modelli generativi rappresentano e trasformano l’incertezza nelle risposte dell’AI. Esplora le voci e gli articoli collegati.

6 capitoli62 concetti16 esercizi

«Il numero accanto a una risposta non è certezza: è una distribuzione che va interpretata, calibrata e verificata.»

Il principio

Prima della tecnica, il significato

Un modello non produce soltanto una risposta: assegna struttura a possibilità. Softmax trasforma punteggi in una distribuzione, la sigmoide descrive esiti binari e il campionamento sceglie fra alternative. Questi meccanismi rendono esplicita una parte dell’incertezza, ma la confidenza numerica non coincide automaticamente con affidabilità.

L’incertezza ha origini diverse. Il rumore nei dati produce variabilità aleatoria; dati insufficienti e condizioni nuove producono incertezza epistemica. Calibrazione, validation set e valutazioni per segmento aiutano a non confondere una probabilità elegante con una stima utile per decidere.

Nei modelli generativi la distribuzione guida anche la creazione. Temperatura, top-k e nucleus sampling cambiano ciò che viene campionato, mentre diffusione e autoencoder variazionali apprendono processi probabilistici più ampi. Comprendere questa legge significa leggere insieme output e distribuzione, senza scambiare la variabilità per errore o la sicurezza del testo per prova.

Per valutarla servono misure adatte al contesto. Reliability diagram e intervalli di predizione mostrano come la confidenza si comporta su casi reali; ensemble e campionamenti multipli aiutano a stimare la variabilità del modello. Se una risposta incerta può essere verificata da una fonte o da uno strumento, quella verifica spesso vale più della probabilità mostrata.

Anche la decisione di astenersi appartiene a questa legge. Quando il costo dell’errore è alto, un sistema può restituire la richiesta a una persona o a una fonte esterna invece di scegliere sempre il token più probabile. Soglie e criteri di rifiuto trasformano l’incertezza da numero astratto a comportamento operativo misurabile.

Formula e strutturap(y|x) · H(p)=−Σp log p · L=−log p(classe reale)

Capitolo 1

Dallo score a una distribuzione

Un layer produce punteggi, non probabilità. Sigmoide e softmax li trasformano in valori interpretabili come distribuzioni: la prima per esiti binari o etichette indipendenti, la seconda per categorie mutualmente esclusive. La sottrazione del logit massimo prima dell’esponenziale mantiene invariate le probabilità ed evita overflow, un esempio di come implementazione numerica e significato statistico debbano procedere insieme.

La classe più probabile non è necessariamente corretta e una confidenza del 90% non promette il 90% di successi. La calibrazione confronta confidenza e frequenza osservata su dati rappresentativi. Temperature scaling può modificare la forma della distribuzione senza cambiare l’ordine dei logit: utile per alcune decisioni, incapace di aggiungere conoscenza al modello.

Score non significa probabilità calibrata.
Accuracy e calibrazione sono proprietà distinte.
La temperatura non cambia il ranking delle classi.

Capitolo 2

Aleatoria, epistemica e distributiva

L’incertezza aleatoria deriva dalla variabilità del fenomeno o della misurazione: più dati simili non la eliminano. Quella epistemica riflette conoscenza insufficiente e può ridursi con esempi migliori o modelli più adeguati. Fuori distribuzione si aggiunge il problema di applicare il sistema in condizioni non coperte dal training, dove anche una predizione sicura può essere fragile.

Deep ensemble, campionamento e metodi bayesiani approssimati offrono segnali di variabilità, ma condividono limiti dei dati da cui nascono. Il disaccordo fra modelli è utile solo se i membri sono davvero diversi. Anche l’assenza di disaccordo non dimostra affidabilità: tutti possono aver appreso la stessa scorciatoia.

Capitolo 3

Entropia, cross-entropy e informazione

L’entropia misura la dispersione di una distribuzione. Per due esiti equiprobabili vale un bit; diminuisce quando la massa si concentra. Non dice quale classe sia corretta, ma quanto la distribuzione sia indecisa. Cross-entropy, invece, valuta la probabilità assegnata all’esito reale e diventa una loss quando viene mediata sugli esempi.

Log-loss penalizza fortemente errori commessi con grande sicurezza, mentre Brier score usa scarti quadratici fra probabilità ed esiti. Perplexity deriva dalla perdita media sulle sequenze ed è confrontabile soltanto con dataset e tokenizzazione coerenti. Nessuna di queste metriche misura da sola verità, completezza o utilità di un testo generato.

Capitolo 4

Campionare dal possibile

Nella generazione, temperatura, top-k e nucleus sampling decidono quale parte della distribuzione diventi azione. Top-k mantiene un numero fisso di candidati; top-p un insieme variabile che copre una certa massa. Ridurre la temperatura aumenta concentrazione, ma non garantisce fattualità. Un campionamento più vario può migliorare creatività e copertura aumentando anche errori e incoerenza.

Best-of-N sposta parte del costo sulla verifica: genera più alternative e usa un selezionatore. Funziona soltanto se il criterio distingue davvero le risposte migliori. Nei compiti verificabili, strumenti e prove valgono spesso più della probabilità del token. La casualità va valutata sul risultato finale, non celebrata o eliminata in astratto.

Capitolo 5

Intervalli e decisioni sotto rischio

Intervalli di confidenza, intervalli di predizione e conformal prediction rispondono a domande differenti. Il primo descrive una procedura di stima; il secondo copre nuovi valori; la conformal costruisce insiemi con garanzie sotto ipotesi di scambiabilità. Confondere questi significati produce affermazioni troppo forti. Shift e dipendenza possono compromettere la copertura attesa.

Quando il costo degli errori varia, la decisione ottimale non coincide con la classe più probabile. Soglie, costi e astensione trasformano la distribuzione in una policy. Selective prediction misura rischio e copertura sui casi accettati, lasciando gli altri a una fonte o a una persona. Astenersi è un comportamento progettato, non un fallimento dell’interfaccia.

Definisci il costo di FP e FN.
Misura copertura e rischio insieme.
Prevedi un percorso reale per i casi incerti.

Capitolo 6

Come verificare una confidenza

Un reliability diagram raggruppa predizioni per confidenza e confronta accuratezza osservata; ECE riassume il divario ma dipende dai bin. La valutazione va eseguita per segmenti e su dati non usati per tarare il modello. Se il contesto cambia, anche una calibrazione precedente può deteriorarsi. Metriche aggregate rassicuranti possono nascondere gruppi sistematicamente sovra-sicuri.

Un buon test include esempi noti, casi ambigui e input fuori dominio. Registra confidenza, esito e decisione, poi verifica se la soglia produce il comportamento desiderato. La domanda finale non è “il modello è sicuro?” ma “questa stima rende la decisione migliore, in quali condizioni e con quali controlli?”.

Laboratorio