Domande d'esame di machine learning con risposte

È una rappresentazione vettoriale appresa di un elemento, per esempio parola, frase o immagine. Le relazioni geometriche permettono confronti e retrieval. La sua qualità dipende da dati e obiettivo.

Vai alla voce del glossario

Indica il numero di elementi lungo ciascun asse, per esempio batch, canali, altezza e larghezza. Il rango è il numero di assi. Reshape e trasposizione non sono la stessa operazione.

Vai alla voce del glossario

Significa che sono ortogonali e il prodotto scalare è zero. Non implica che gli oggetti siano indipendenti o semanticamente irrilevanti in assoluto. La relazione dipende dallo spazio appreso.

Vai alla voce del glossario

Aggiunge informazione sull’ordine dei token alle rappresentazioni. Self-attention, da sola, non conserva un ordine ricorrente. Aiuta il modello a usare relazioni sequenziali.

Vai alla voce del glossario

Dense retrieval usa embedding e similarità semantica. Sparse retrieval usa termini e strutture come inverted index e BM25. La combinazione copre sinonimi e corrispondenze esatte.

Vai alla voce del glossario

Query e documenti vengono codificati separatamente. Gli embedding documentali possono essere precomputati e indicizzati. Il cross-encoder, invece, valuta congiuntamente la coppia.

Vai alla voce del glossario

HNSW è un indice per vicini approssimati basato su grafo multilivello. Non è una metrica: accelera la ricerca dei vettori vicini. Costruzione ed esplorazione regolano memoria, velocità e recall.

Vai alla voce del glossario

Determina il contesto associato a ogni embedding. Segmenti grandi diluiscono il segnale, piccoli possono perdere struttura e riferimenti. La strategia dipende dai documenti.

Vai alla voce del glossario

Riordina un insieme limitato di candidati con un modello più accurato del primo stadio. Aumenta precisione a costo di latenza. Spesso usa cross-encoder o un LLM.

Vai alla voce del glossario

Sono coordinate apprese per un obiettivo e un dataset. La vicinanza riflette regolarità statistiche, non una definizione filosofica completa. Bias e task possono cambiare le relazioni.

Vai alla voce del glossario

Trasforma un vettore di punteggi in valori positivi con somma 1. La temperatura modifica concentrazione e forma della distribuzione. Non garantisce calibrazione.

Vai alla voce del glossario

Mappa ogni score tra 0 e 1 indipendentemente dagli altri. Offre una lettura probabilistica dell’esito. Nei layer profondi può saturare.

Vai alla voce del glossario

La corrispondenza tra confidenza e frequenza reale dei risultati. Con confidenza 0.8 ci si attende circa il 20% di errori in una serie rappresentativa. Si misura su dati appropriati.

Vai alla voce del glossario

È la variabilità intrinseca dei dati e delle misure. Non sparisce aumentando il dataset. Si distingue dalla conoscenza limitata del modello.

Vai alla voce del glossario

Deriva da informazione o esempi insufficienti. È comune fuori distribuzione e in regioni poco coperte. Può ridursi con dati o modelli migliori.

Vai alla voce del glossario

Seleziona i k token più probabili e normalizza la loro massa. Il campionamento avviene solo fra questi. Un k fisso non si adatta alla distribuzione.

Vai alla voce del glossario

Mantiene il più piccolo insieme di token la cui probabilità cumulata raggiunge p. La dimensione cambia con la distribuzione. Può essere più flessibile di top-k.

Vai alla voce del glossario

Modifica gli score prima di softmax. Valori bassi concentrano la probabilità, valori alti la rendono più uniforme. Non cambia l’ordine degli score.

Vai alla voce del glossario

È il degrado che può emergere addestrando generazioni successive su dati sintetici. La diversità e le code della distribuzione possono ridursi. Filtri e dati reali aiutano a prevenirlo.

Vai alla voce del glossario

Quantifica l’incertezza del modello sulla sequenza, come esponenziale della perdita media. Valori bassi indicano predizioni migliori sullo stesso dataset. Non misura da sola verità o utilità.

Vai alla voce del glossario

Il forward calcola output e loss. Il backward propaga i gradienti della loss attraverso la rete. L’ottimizzatore usa quei gradienti per aggiornare i pesi.

Vai alla voce del glossario

La validation guida iperparametri e selezione del modello. Il test valuta alla fine senza influenzare quelle scelte. Riutilizzare il test contamina la valutazione.

Vai alla voce del glossario

È l’uso di informazioni non disponibili al momento della predizione. Può venire da feature, duplicati o preprocessing globale. Produce metriche troppo ottimistiche.

Vai alla voce del glossario

Il modello impara rumore e dettagli del training set. La validation mostra prestazioni peggiori su dati nuovi. Capacità, dati e regolarizzazione ne determinano il livello.

Vai alla voce del glossario

Usa obiettivi generati dai dati, come ricostruzione o predizione di parti mascherate. Non richiede etichette manuali per ogni esempio. Produce rappresentazioni riutilizzabili.

Vai alla voce del glossario

Presenta esempi secondo un ordine progettato, spesso crescente in difficoltà. Può stabilizzare il training ma introdurre bias. Va confrontato con l’ordine casuale.

Vai alla voce del glossario

Etichette errate deviano gradiente e valutazione. Il rumore può essere casuale o sistematico. Revisione, campioni puliti e loss robuste aiutano.

Vai alla voce del glossario

Riusa parametri appresi su un task o dataset ampio per un compito specifico. Riduce i dati richiesti quando le rappresentazioni sono pertinenti. Il fine-tuning adatta il modello.

Vai alla voce del glossario

Mostrano se la complessità aggiunge un beneficio reale. Una metrica senza confronto può nascondere un risultato banale. Baseline semplici chiariscono il guadagno.

Vai alla voce del glossario

È un cambiamento nella distribuzione tra training e deployment. Può riguardare feature, etichette o relazioni condizionate. Richiede monitoraggio e valutazioni recenti.

Vai alla voce del glossario

Determina l’ampiezza degli aggiornamenti dei parametri. Troppo alto destabilizza, troppo basso rallenta. Scheduler e validation aiutano la scelta.

Vai alla voce del glossario

È la media dei quadrati degli errori. Penalizza più fortemente gli scarti grandi. La sua unità è il quadrato del target.

Vai alla voce del glossario

È la media dei valori assoluti degli errori. Usa la stessa unità del target ed è più robusto agli outlier del MSE. Il gradiente è costante in modulo.

Vai alla voce del glossario

Stima primo e secondo momento del gradiente per adattare il passo di ogni parametro. Richiede più stato di SGD con momentum. AdamW disaccoppia weight decay.

Vai alla voce del glossario

Limita la norma del gradiente per evitare aggiornamenti esplosivi. Scala tutti i componenti con lo stesso fattore. Non risolve ogni causa di instabilità.

Vai alla voce del glossario

È il numero di esempi che contribuisce a un aggiornamento. Include batch per dispositivo, dispositivi e accumuli. Cambia memoria e rumore del gradiente.

Vai alla voce del glossario

Normalizza le attivazioni usando statistiche calcolate sul batch per ogni feature. In inferenza usa quelle accumulate. La dimensione del batch influenza il processo.

Vai alla voce del glossario

Normalizza le feature del singolo esempio senza dipendere dal batch. È comune nei Transformer. Usa parametri di scala e offset appresi.

Vai alla voce del glossario

Combina formati numerici per ridurre memoria e calcolo mantenendo stabilità dove serve. FP16 o BF16 eseguono molte operazioni, altre restano più precise. Loss scaling aiuta in alcuni casi.

Vai alla voce del glossario

Rappresenta pesi o attivazioni con meno bit. Riduce memoria e costo, ma può perdere accuratezza. La calibrazione e i test sul task sono essenziali.

Vai alla voce del glossario

È la quota di positivi previsti che sono corretti, TP/(TP+FP). Riduce l’attenzione ai falsi positivi. Non misura i positivi persi.

Vai alla voce del glossario

È la quota di positivi reali trovati, TP/(TP+FN). Riduce l’attenzione ai falsi negativi. Può aumentare accettando più falsi positivi.

Vai alla voce del glossario

Penalizza lo squilibrio tra precision e recall più della media aritmetica. Valori alti richiedono entrambe buone. Non include i veri negativi.

Vai alla voce del glossario

Usa tutte le celle della matrice per misurare la qualità della predizione. È informativo con classi sbilanciate. Non sostituisce l’analisi per gruppo e per errore.

Vai alla voce del glossario

È un’istruzione malevola inserita in input, documenti o strumenti per deviare il sistema. Dati e istruzioni devono essere separati e le azioni limitate. Un divieto testuale non basta.

Vai alla voce del glossario

È la manipolazione intenzionale dei dati per alterare il modello. Può creare backdoor o ridurre prestazioni. Provenienza e controlli d’accesso aiutano a prevenirla.

Vai alla voce del glossario

Limita formalmente quanto un individuo possa cambiare la distribuzione del risultato. Usa meccanismi randomizzati e un budget epsilon. Il compromesso riguarda privacy e utilità.

Vai alla voce del glossario

Stima il contributo delle feature usando principi dei valori di Shapley. Confronta coalizioni per attribuire la predizione. Non dimostra relazioni causali.

Vai alla voce del glossario

Scopo, dati, valutazioni, limiti e condizioni d’uso di un modello. Documenta rischi e metriche rilevanti. Va aggiornata con versioni e deployment.

Vai alla voce del glossario

Inserisce giudizio umano in punti ad alto impatto o incertezza. Richiede informazioni, tempo e autorità per intervenire. Una conferma formale non è sufficiente.

Vai alla voce del glossario