Michele LaurelliBlog

Legge I · Embedding, feature e spazi vettoriali

Esercizi di rappresentazione nell’AI

16 esercizi su embedding, feature e spazi vettoriali con soluzioni passo passo, calcoli guidati e strumenti pratici per capire AI e machine learning.

Ripassa la legge I
0 di 16 completatiIl progresso resta su questo dispositivo
01

Esercizio 1

Calcola la similarità del coseno tra u=[1,1,0] e v=[0.9,1.1,0].

Mostra la soluzione passo passo
  1. Prodotto scalare: 0.9+1.1=2.
  2. Norme: √2≈1.4142 e √(0.81+1.21)≈1.4213.
  3. Coseno: 2/(1.4142·1.4213)≈0.9950.
Approfondimento nel glossarioVerifica con lo strumento
02

Esercizio 2

Un embedding di due parole ha vettori [1,0] e [-1,0]. Calcola prodotto scalare e coseno.

Mostra la soluzione passo passo
  1. Prodotto: 1·(−1)+0·0=−1.
  2. Le norme valgono entrambe 1.
  3. Coseno: −1, quindi direzioni opposte.
Approfondimento nel glossarioVerifica con lo strumento
03

Esercizio 3

Qual è la forma di un batch di 32 immagini RGB 224×224?

Mostra la soluzione passo passo
  1. Ogni immagine ha 3 canali.
  2. Il batch aggiunge la dimensione N=32.
  3. La forma è [32,3,224,224], con rango 4.
Approfondimento nel glossario
04

Esercizio 4

Perché due documenti possono essere vicini nello spazio embedding pur avendo parole diverse?

Mostra la soluzione passo passo
  1. L’embedding viene appreso da relazioni semantiche, non da corrispondenza letterale.
  2. Se i contesti d’uso sono simili, il modello può assegnare coordinate vicine.
  3. La vicinanza va comunque verificata sul compito e sui dati.
Approfondimento nel glossarioVerifica con lo strumento
05

Esercizio 5

Che differenza c’è tra feature grezze e derivate?

Mostra la soluzione passo passo
  1. Le grezze sono misure o valori originali, come pixel o età.
  2. Le derivate sono trasformazioni, come log-prezzo o embedding.
  3. Entrambe diventano input del modello con costi e significato diversi.
Approfondimento nel glossario
06

Esercizio 6

Perché il positional encoding è necessario in un Transformer?

Mostra la soluzione passo passo
  1. Self-attention non contiene un ordine ricorrente delle posizioni.
  2. Il segnale posizionale aggiunge informazione sulla sequenza.
  3. Senza, relazioni e sintassi dipendenti dall’ordine sarebbero più difficili da apprendere.
Approfondimento nel glossario
07

Esercizio 7

Perché chunking e overlap influenzano un sistema RAG?

Mostra la soluzione passo passo
  1. Un chunk troppo grande diluisce il segnale e supera il contesto utile.
  2. Uno troppo piccolo può perdere definizioni o tabelle.
  3. Overlap e struttura preservano il passaggio fra segmenti e il recupero corretto.
Approfondimento nel glossario
08

Esercizio 8

Quando la similarità coseno può essere fuorviante?

Mostra la soluzione passo passo
  1. Ignora la magnitudine e dipende dalla rappresentazione appresa.
  2. Due elementi vicini non sono necessariamente equivalenti o causalmente collegati.
  3. Bias e preprocessing possono produrre associazioni non desiderate.
Approfondimento nel glossarioVerifica con lo strumento
10

Esercizio 10

Due vettori hanno coseno 1 ma norme 2 e 20. Sono identici?

Mostra la soluzione passo passo
  1. Coseno 1 indica la stessa direzione.
  2. Le norme diverse indicano magnitudini differenti.
  3. Non sono identici: uno è un multiplo positivo dell’altro.
Approfondimento nel glossarioVerifica con lo strumento
11

Esercizio 11

Quanti valori contiene un tensore [64,3,128,128]?

Mostra la soluzione passo passo
  1. Moltiplica tutte le dimensioni: 64·3·128·128.
  2. 128²=16.384 e 64·3=192.
  3. Il tensore contiene 3.145.728 valori.
Approfondimento nel glossario
12

Esercizio 12

Un documento di 2.400 token viene diviso in chunk da 500 con overlap 100. Qual è il passo tra inizi consecutivi?

Mostra la soluzione passo passo
  1. Il passo è chunk size meno overlap.
  2. 500−100=400 token.
  3. Gli inizi cadono a 0, 400, 800 e così via, fino a coprire il documento.
Approfondimento nel glossario
13

Esercizio 13

Perché normalizzare gli embedding prima del coseno?

Mostra la soluzione passo passo
  1. Dopo normalizzazione ogni vettore ha norma 1.
  2. Il coseno coincide con il prodotto scalare.
  3. Il calcolo diventa più semplice senza cambiare le direzioni.
Approfondimento nel glossarioVerifica con lo strumento
14

Esercizio 14

Perché una feature può essere informativa ma non causale?

Mostra la soluzione passo passo
  1. Può essere correlata al target perché condivide una causa o un contesto.
  2. Il modello sfrutta la regolarità predittiva, non necessariamente il meccanismo.
  3. Validazione temporale e analisi del dominio aiutano a riconoscere scorciatoie.
Approfondimento nel glossario
15

Esercizio 15

Che differenza c’è fra reshape e trasposizione?

Mostra la soluzione passo passo
  1. Reshape cambia le dimensioni mantenendo l’ordine di lettura dei valori.
  2. Trasposizione scambia assi e quindi posizioni logiche degli elementi.
  3. Possono produrre la stessa shape ma contenuti disposti diversamente.
Approfondimento nel glossario
16

Esercizio 16

Perché un reranker può migliorare il dense retrieval?

Mostra la soluzione passo passo
  1. Il primo stadio recupera rapidamente candidati tramite embedding.
  2. Il reranker valuta query e documento con un modello più costoso e accurato.
  3. Migliora l’ordine dei candidati, ma non recupera documenti assenti dal primo stadio.
Approfondimento nel glossario