Rappresentazione AI: embedding, feature e spazi vettoriali

Capitolo 1

Dal dato grezzo a una forma calcolabile

Ogni pipeline inizia con una decisione spesso invisibile: che cosa conservare del dato originale. Un’immagine può essere letta come matrice di pixel, un testo come sequenza di token, un cliente come insieme di attributi. In ciascun caso il sistema riceve una proiezione incompleta della realtà, costruita scegliendo unità, granularità, intervallo temporale e valori mancanti. Queste scelte precedono l’architettura e condizionano ogni risultato successivo.

La forma del tensore è già un contratto tecnico. Batch, canali, altezza e larghezza non sono etichette decorative: determinano il significato degli assi e la legalità delle operazioni. Uno reshape può mantenere il numero di valori ma cambiarne l’organizzazione; una trasposizione può rendere compatibili due layer alterando il riferimento spaziale. Leggere shape e dtype è quindi una pratica di debugging, non un dettaglio per specialisti.

• Quali informazioni vengono eliminate?
• Che cosa rappresenta ciascun asse?
• La stessa trasformazione verrà applicata in produzione?

Capitolo 2

Feature esplicite e rappresentazioni apprese

Le feature esplicite sono progettate: età, prezzo, frequenza, coordinate e trasformazioni come logaritmi o rapporti. Rendono il problema leggibile e permettono controlli diretti, ma richiedono conoscenza del dominio. Le rappresentazioni apprese, invece, emergono dall’ottimizzazione: una rete combina gli input in attivazioni intermedie che rendono il compito più facile. Non sono prive di progettazione, perché dati, loss e architettura decidono quali relazioni convenga conservare.

Un embedding è una di queste rappresentazioni, normalmente pensata per essere confrontata o riutilizzata. Due elementi vicini condividono regolarità utili all’obiettivo, non una somiglianza assoluta. Un modello addestrato per ricerca semantica organizzerà lo spazio diversamente da uno addestrato per raccomandazioni. Per questo non ha senso chiedere se un embedding “contiene il significato” senza specificare compito, dataset e misura di valutazione.

Capitolo 3

Distanza, direzione e similarità

La geometria offre operazioni precise: prodotto scalare, distanza euclidea, similarità coseno e proiezione. Il coseno confronta direzioni e ignora la magnitudine; la distanza euclidea la considera. Se due vettori hanno coseno uno ma norme diverse, sono allineati non identici. La scelta della metrica cambia i vicini restituiti e può spostare interi risultati quando le feature non sono state scalate correttamente.

La normalizzazione rende coseno e prodotto scalare equivalenti, semplificando indici e calcoli. Non corregge però rappresentazioni sbagliate. Una vicinanza vettoriale può derivare da bias, duplicati o scorciatoie lessicali. Per interpretarla servono esempi qualitativi, recall sul retrieval e analisi degli errori per categoria: la distanza è una misura dentro lo spazio appreso, non una prova sulla realtà esterna.

• Confronta la metrica con il compito.
• Controlla scaling e normalizzazione.
• Esamina sia i vicini corretti sia quelli assurdi.

Capitolo 4

Sequenze, token e posizione

Nei modelli linguistici il testo viene segmentato in token che possono coincidere con parole, frammenti, spazi o punteggiatura. Il vocabolario influenza lunghezza della sequenza, memoria e costo. Un contesto apparentemente breve può superare la finestra disponibile se contiene codice, caratteri rari o molte lingue. Il conteggio delle parole non basta per stimare il budget operativo.

Self-attention mette in relazione posizioni ma non possiede, da sola, un ordine ricorrente. Positional encoding, embedding appresi o schemi relativi introducono questa informazione. Attention mask e padding mask definiscono invece quali posizioni partecipano al calcolo. Errori in questi componenti cambiano il significato della sequenza pur lasciando invariato il testo visibile.

Capitolo 5

Rappresentare per recuperare

In un sistema RAG la rappresentazione decide che cosa può essere ritrovato. Il chunking definisce l’unità da codificare: segmenti troppo ampi diluiscono il passaggio rilevante, segmenti troppo piccoli perdono antecedenti e struttura. Overlap, titoli, metadati e parent document aiutano a mantenere coerenza senza duplicare inutilmente il contesto.

Dense retrieval cattura relazioni semantiche; BM25 e inverted index conservano corrispondenze esatte. Hybrid search combina i due segnali, mentre un reranker riordina candidati già recuperati. Nessun reranker può salvare un documento assente dal primo stadio. Recall@k, MRR e NDCG osservano aspetti differenti e vanno scelti in base all’uso reale dei risultati.

• Misura prima il recall del candidato.
• Valuta separatamente recupero e risposta.
• Conserva provenienza e struttura del documento.

Capitolo 6

Errori comuni e verifica pratica

Il primo errore è confondere alta dimensionalità con maggiore informazione: dimensioni inutili aumentano costo e rumore. Il secondo è applicare preprocessing diverso fra training e serving. Il terzo è giudicare uno spazio soltanto da visualizzazioni bidimensionali, che possono nascondere relazioni e creare cluster apparenti. Infine, attribuire causalità a una feature correlata trasforma una regolarità statistica in una spiegazione non dimostrata.

Una verifica efficace parte da un batch piccolo e ispeziona valori, shape, categorie sconosciute e casi nulli. Prosegue con query note, vicini attesi e controesempi, per poi misurare prestazioni sul compito finale. La rappresentazione è pronta solo quando il suo comportamento resta comprensibile anche su dati recenti e condizioni diverse da quelle di sviluppo.