Michele LaurelliBlog

Legge II · Probabilità, softmax e modelli generativi

Esercizi su probabilità e incertezza

16 esercizi su probabilità, softmax e modelli generativi con soluzioni passo passo, calcoli guidati e strumenti pratici per capire AI e machine learning.

Ripassa la legge II
0 di 16 completatiIl progresso resta su questo dispositivo
01

Esercizio 1

Calcola softmax([1,2,3]) senza temperatura.

Mostra la soluzione passo passo
  1. Sottrai max=3: esponenti e⁻², e⁻¹, 1.
  2. Somma ≈0.1353+0.3679+1=1.5032.
  3. Probabilità ≈[0.0900, 0.2447, 0.6652].
Approfondimento nel glossarioVerifica con lo strumento
02

Esercizio 2

Cosa cambia in softmax con T=0.5 rispetto a T=1?

Mostra la soluzione passo passo
  1. Gli score vengono divisi per 0.5, aumentando le differenze.
  2. La classe più grande riceve più peso.
  3. La distribuzione è meno uniforme, non cambia l’ordine delle classi.
Approfondimento nel glossarioVerifica con lo strumento
04

Esercizio 4

Perché una confidence 0.9 non implica 90% di casi corretti?

Mostra la soluzione passo passo
  1. La probabilità dipende da training e calibrazione.
  2. Se il modello è sovra-sicuro, la frequenza reale può essere minore.
  3. Serve una reliability curve su dati reali per verificarlo.
Approfondimento nel glossario
05

Esercizio 5

Distingui incertezza aleatoria ed epistemica.

Mostra la soluzione passo passo
  1. Aleatoria deriva da rumore e variabilità dei dati.
  2. Epistemica deriva da conoscenza limitata del modello.
  3. Più dati possono ridurre la seconda, non la prima.
Approfondimento nel glossario
06

Esercizio 6

Perché top-k e top-p producono insiemi diversi di candidati?

Mostra la soluzione passo passo
  1. Top-k mantiene un numero fisso k di token.
  2. Top-p usa la somma minima di probabilità cumulata p.
  3. Il primo non si adatta alla forma della distribuzione, il secondo sì.
Approfondimento nel glossarioVerifica con lo strumento
07

Esercizio 7

Cos’è il vanishing gradient nelle funzioni di attivazione?

Mostra la soluzione passo passo
  1. Sigmoide e tanh saturano e riducono la derivata.
  2. Moltiplicando molti termini piccoli, il segnale si riduce.
  3. I primi strati possono smettere di apprendere.
Approfondimento nel glossario
08

Esercizio 8

Quando è utile un campionamento best-of-N?

Mostra la soluzione passo passo
  1. Genera N risposte candidate invece di una sola.
  2. Un verificatore le valuta con criteri espliciti.
  3. Aumenta calcolo e non garantisce correttezza senza una buona selezione.
Approfondimento nel glossario
10

Esercizio 10

Che cosa cambia fra probabilità 0.6 e odds?

Mostra la soluzione passo passo
  1. La probabilità è p=0.6.
  2. Gli odds sono p/(1−p)=0.6/0.4.
  3. Gli odds valgono 1.5, cioè 3:2.
Approfondimento nel glossario
11

Esercizio 11

Perché softmax richiede la sottrazione del logit massimo?

Mostra la soluzione passo passo
  1. Sottrarre la stessa costante a tutti i logit non cambia le probabilità.
  2. Con il massimo a zero, gli esponenziali non superano 1.
  3. Si riduce il rischio di overflow numerico.
Approfondimento nel glossarioVerifica con lo strumento
12

Esercizio 12

Calcola cross-entropy per classe corretta con probabilità 0.8.

Mostra la soluzione passo passo
  1. Per la classe reale la perdita è −ln(p).
  2. −ln(0.8)≈0.2231 nat.
  3. Una confidenza maggiore sulla classe corretta riduce la loss.
Approfondimento nel glossario
13

Esercizio 13

Perché una distribuzione appiattita dalla temperatura non rende il modello più accurato?

Mostra la soluzione passo passo
  1. La temperatura cambia la forma delle probabilità, non i logit appresi.
  2. L’ordine delle classi resta invariato.
  3. Può aiutare calibrazione o campionamento, ma non aggiunge conoscenza.
Approfondimento nel glossarioVerifica con lo strumento
14

Esercizio 14

Che cosa indica un intervallo di predizione al 95%?

Mostra la soluzione passo passo
  1. Definisce un intervallo con una procedura di copertura dichiarata.
  2. La copertura va verificata su dati nuovi e nelle condizioni operative.
  3. Non garantisce che ogni singolo valore abbia il 95% di probabilità soggettiva di cadervi.
Approfondimento nel glossario
15

Esercizio 15

Perché un ensemble può stimare incertezza epistemica?

Mostra la soluzione passo passo
  1. Modelli diversi producono predizioni che possono essere confrontate.
  2. Disaccordo elevato segnala regioni dove la soluzione è meno determinata.
  3. La stima dipende dalla diversità reale dell’ensemble e non copre ogni errore condiviso.
Approfondimento nel glossario
16

Esercizio 16

Quando è preferibile astenersi anziché classificare?

Mostra la soluzione passo passo
  1. Quando confidenza o evidenza sono insufficienti e l’errore ha costo elevato.
  2. Una soglia instrada il caso verso verifica o revisione umana.
  3. La soglia va valutata misurando copertura e rischio sui casi accettati.
Approfondimento nel glossario