Apprendimento automatico: come una rete impara dai dati

Capitolo 1

Dataset, obiettivo e ipotesi

Il training set descrive i casi disponibili, la loss stabilisce che cosa significhi migliorare e l’architettura limita le funzioni considerate. Questi tre elementi definiscono il problema prima dell’ottimizzatore. Una raccolta ampia ma non rappresentativa può insegnare relazioni inutilizzabili; una loss comoda può premiare comportamenti diversi da quelli desiderati.

Supervised learning usa etichette esplicite, unsupervised cerca struttura, self-supervised costruisce obiettivi dai dati stessi. In tutti i casi esiste un segnale di apprendimento e una scelta su che cosa venga considerato errore. Anche “senza etichette” non significa senza progettazione: mascheramento, augmentazioni e pseudo-target incorporano ipotesi forti.

• Che cosa rappresenta un esempio?
• Quale comportamento premia la loss?
• Quale struttura favorisce l’architettura?

Capitolo 2

Forward, backward e aggiornamento

Il forward pass calcola attivazioni, output e perdita. La backpropagation applica la chain rule per distribuire la sensibilità della loss ai parametri. L’ottimizzatore usa quei gradienti per modificare i pesi. Un’iterazione lavora su un batch; un’epoca attraversa il training set. Confondere queste unità rende difficile confrontare scheduler e budget.

Il gradiente è locale e rumoroso: non descrive il percorso completo verso il minimo. Batch size, normalizzazione, inizializzazione e precisione cambiano la dinamica. Loss che diminuisce non implica che il modello stia apprendendo una regola generalizzabile: potrebbe memorizzare dettagli o sfruttare leakage.

Capitolo 3

Generalizzazione e valutazione onesta

Training, validation e test hanno ruoli distinti. Il primo aggiorna parametri, il secondo guida scelte e early stopping, il terzo offre una stima finale senza alimentare decisioni. Riutilizzare ripetutamente il test lo trasforma in validation. Split per gruppo o tempo evitano che identità e futuro attraversino i confini.

Data leakage può nascondersi nel preprocessing: media calcolata sull’intero dataset, target encoding globale o duplicati fra fold. La pipeline completa deve essere appresa dentro ogni split. Baseline semplici chiariscono il guadagno del modello; seed multipli mostrano se una differenza sia stabile o casuale.

• Adatta il preprocessing solo sul training.
• Definisci split prima delle trasformazioni.
• Confronta con baseline e più seed.

Capitolo 4

Capacità, regolarizzazione e dati

Underfitting indica che il modello non cattura la struttura utile; overfitting che si adatta troppo ai casi di training. Learning curve aiutano a distinguerli: errori entrambi alti suggeriscono capacità o feature insufficienti, un divario crescente memorizzazione. La soluzione non è sempre ridurre il modello: dati migliori e obiettivi corretti possono essere più efficaci.

Weight decay, dropout, early stopping e data augmentation introducono vincoli differenti. Augmentation crea varianti degli esempi, non osservazioni indipendenti, e una trasformazione può alterare l’etichetta. Regolarizzare significa scegliere quali soluzioni preferire, non eliminare il rumore per decreto.

Capitolo 5

Pretraining, adattamento e continuità

Pretraining apprende rappresentazioni generali che fine-tuning e transfer learning adattano al compito. LoRA congela gran parte dei pesi e impara aggiornamenti a rango ridotto, riducendo parametri trainable e memoria. Il beneficio dipende da layer scelti, rango e distanza fra compito e conoscenza iniziale.

Nuovi aggiornamenti possono cancellare capacità precedenti: è il catastrophic forgetting. Replay, regolarizzazione, moduli separati e checkpoint aiutano a preservarle. Nel continual learning ogni rilascio va valutato sia sul nuovo obiettivo sia su una suite di regressione, perché il miglioramento locale può nascondere una perdita globale.

Capitolo 6

Dal punteggio al comportamento appreso

Un benchmark può essere contaminato, troppo facile o distante dall’uso reale. Prestazioni elevate non dicono se il modello abbia appreso la regola desiderata o una scorciatoia. Esempi controfattuali, test temporali e casi per segmento offrono evidenza più specifica. Anche errori e insuccessi vanno conservati come parte della conoscenza sul sistema.

Il processo si chiude con una decisione riproducibile: versione di dati e codice, seed, configurazione, metriche e criteri di accettazione. Apprendere bene significa poter spiegare che cosa è cambiato, perché sembra migliorare e come accorgersi quando smette di funzionare.