Weight-Space Programming e la chirurgia dei modelli

Una notizia che riguarda il modo in cui scriveremo le reti neurali

Il 2 novembre 2026 un gruppo del MIT CSAIL formato da Rikiya Takehi, Jayden Teoh, Alex Zhang e Omar Khattab ha pubblicato un post dal titolo Sparks of Weight-Space Programming, nel quale mostra che un modello linguistico generalista, in questo caso GPT-6 Astra, riesce a leggere e a modificare direttamente i pesi di un’altra rete neurale senza ricorrere alla discesa del gradiente. Nel giro di due giorni la notizia ha fatto il giro della stampa tecnica internazionale, soprattutto per un risultato preciso, l’aumento del punteggio di Qwen3.5-0.8B su MATH-500 dal 7,9% al 48,1% ottenuto modificando circa lo 0,016% dei suoi parametri.

In questo articolo provo a spiegare che cosa sia davvero il Weight-Space Programming, quali esperimenti lo sostengono e come vanno letti i numeri, distinguendo ciò che il lavoro dimostra da ciò che per ora resta una promessa. Nella seconda parte racconto perché questa notizia mi riguarda da vicino, dato che nel settembre 2024 avevo pubblicato su arXiv un paper, Brain Surgery, che proponeva di intervenire in modo chirurgico sulle rappresentazioni interne di un modello per rimuovere concetti specifici senza riaddestrarlo, con l’obiettivo di rendere i modelli locali conformi al GDPR. Cercherò di essere preciso su dove le due cose coincidono e su dove invece divergono, perché l’interesse della vicenda sta proprio in questa distinzione.

Che cos’è il Weight-Space Programming

Gli autori definiscono il Weight-Space Programming come la situazione in cui un LLM generalista legge e scrive i pesi di una rete partendo da una specifica in linguaggio naturale, senza passare da un ottimizzatore e in particolare senza discesa del gradiente, e in alcuni casi senza alcun feedback dall’ambiente. La rete bersaglio viene trattata come un artefatto da ispezionare e correggere, più o meno come un programmatore tratta un sorgente, e il modello che opera ragiona su che cosa calcola ciascuna parte della rete, oppure su che cosa dovrebbe calcolare, e cambia i numeri di conseguenza.

Per capire che cosa ci sia di nuovo conviene collocare la cosa rispetto a tre filoni già esistenti. Il primo è l’addestramento classico, in cui i pesi vengono scritti da un algoritmo di ottimizzazione come Adam o Muon che non sa nulla del significato dei parametri e si limita a seguire il gradiente di una funzione di perdita. Il secondo è il cosiddetto weight space learning, un’area di ricerca in cui si addestrano reti specializzate che prendono in ingresso i pesi di altre reti per classificarle, prevederne le prestazioni o generarne di nuove, e che deve fare i conti con le simmetrie dello spazio dei pesi, a partire dal fatto che permutando i neuroni di uno strato si ottiene una rete funzionalmente identica con parametri completamente diversi. Il terzo è l’interpretabilità meccanicistica e il model editing, da ROME e MEMIT fino alle tecniche di ablazione direzionale, dove ricercatori umani con strumenti costruiti ad hoc localizzano circuiti o direzioni e li modificano.

Rispetto a tutti e tre la novità sta nell’operatore. Al posto dell’ottimizzatore cieco, della rete addestrata apposta per leggere pesi o del ricercatore che costruisce gli strumenti c’è un modello linguistico usato così com’è, che riceve i pesi come testo o li esplora con un interprete Python e produce una diagnosi e una correzione motivate in linguaggio naturale. Gli autori lo inquadrano come l’estensione ai pesi di un paradigma già diffuso, quello in cui si usano gli LLM per ottimizzare prompt, programmi e harness, che finora si fermava agli artefatti testuali perché nessuno sapeva come ottimizzare a mano una matrice di numeri.

Gli esperimenti: leggere, correggere, scrivere

Il lavoro è organizzato in otto esperimenti che vanno da reti piccolissime, i cui pesi entrano interi nel contesto del modello, fino a un modello linguistico da 0,8 miliardi di parametri esplorato con strumenti. La tabella riassume l’impianto.

Esperimento	Rete bersaglio	Compito chiesto ad Astra	Esito
1. Quale gioco	MLP da 17.253 pesi addestrati con PPO	Dire su quale gioco è stata addestrata, senza opzioni	Gioco corretto per tutte e quattro le reti
2. Quale forma	DDPM da 23.824 pesi	Dire che forma genera, senza forward pass	Forma corretta, disegnata però come contorno
3. Quale lingua	Transformer da 7,2M senza primo e ultimo layer	Lingua di addestramento e funzione delle 24 teste	Lingua corretta e tutte le induction head individuate
4. Correggere	Policy Kinetix da 171.664 pesi bloccata in un minimo locale	Spiegare il fallimento e correggerlo in un colpo	Successo dallo 0% al 100%, modificando il 3,5% dei pesi
5. Scrivere da zero	MLP per tre giochi MinAtar, pesi iniziali a zero	Scrivere i pesi senza dati, gradienti né strumenti	Supera PPO a 100M step in tutti e tre i giochi
6. Go	Rete da 1,48M di pesi	Scrivere una politica di Go con un sandbox Python	Con 50 forward pass batte un PPO della stessa taglia
7. Sicofanzia	Due copie di Gemma 3 270M	Riconoscere quella sicofante	Fallisce dai soli pesi, riesce osservando l’attenzione
8. Matematica	Qwen3.5-0.8B	Migliorarlo in matematica senza addestramento	MATH-500 dal 7,9% al 48,1%

Negli esperimenti di lettura la cosa interessante è il modo in cui Astra ragiona. Nel caso dei giochi osserva dove si concentrano i pesi del primo strato per ciascun canale di input, per esempio lungo la riga inferiore della griglia dove sta la racchetta di Breakout, e quali azioni lo strato di uscita distingue tra loro. Nel caso dei transformer, senza poter eseguire nulla, trova una testa del primo layer che guarda un carattere indietro e poi, moltiplicando le matrici dei pesi, le teste successive che la usano per cercare ripetizioni, ricostruendo di fatto il metodo di composizione dei circuiti di Elhage e colleghi senza che nessuno glielo avesse indicato. L’errore nell’esperimento sulle forme, disegnate come contorni anziché come figure piene, è a suo modo istruttivo, perché suggerisce che il modello sta leggendo la geometria dei pesi dello strato di uscita invece di simulare mentalmente il calcolo.

Negli esperimenti di scrittura Astra procede come un programmatore che compila un algoritmo in forma neurale. In Breakout imposta il primo strato perché calcoli dove atterrerà la palla e il secondo perché sposti la racchetta in quel punto, mentre per Go scrive strato per strato un piccolo programma che marca le pietre e le libertà, propaga l’informazione lungo le catene di pietre connesse per trovare i gruppi in pericolo e assegna infine un punteggio a ciascuna mossa. Nel caso della macchina bloccata sulla rampa aggiunge un piccolo percorso parallelo attraverso pochi neuroni per strato, che legge posizione e velocità del veicolo, lo fa retrocedere per prendere la rincorsa e poi si spegne lasciando guidare la rete addestrata.

Il caso Qwen3.5-0.8B e come leggerlo

L’esperimento che ha attirato più attenzione è l’ultimo. Ad Astra viene dato un kernel Python con i pesi di Qwen3.5-0.8B caricati, senza GPU, un insieme di problemi di pratica presi da GSM8K e MATH e un budget di 10, 25 o 50 forward pass, ciascuno dei quali consiste nel far rispondere il modello a un lotto di problemi. Non sono ammessi addestramento né gradienti, e i benchmark di valutazione restano nascosti.

Guardando le risposte del modello di base, Astra nota che la grande maggioranza si blocca in cicli di ragionamento ripetitivi fino al limite di 32.768 token, un difetto noto dei modelli di ragionamento molto piccoli e segnalato dalla stessa model card di Qwen. Risale quindi a una singola direzione nello spazio delle attivazioni, scritta dagli MLP dei layer 15 e 19, e la sottrae da 64 colonne della matrice di output in ciascuno dei due strati, per un totale di 131.072 pesi.

Qwen3.5-0.8B	MATH-500	GSM8K	IFEval	Risposte al limite di token
Modello di base	7,9%	13,8%	21,0%	93,0%
Modificato, 10 forward pass	12,3%	25,7%	49,0%	87,2%
Modificato, 25 forward pass	14,1%	25,1%	39,9%	86,4%
Modificato, 50 forward pass	48,1%	67,1%	62,3%	33,1%

L’ultima colonna è la chiave di lettura dell’intero risultato. Il miglioramento coincide quasi interamente con la riduzione dei cicli, che scendono dal 93% al 33% delle risposte, e si estende infatti anche a IFEval, che misura il rispetto delle istruzioni e non ha nulla a che fare con la matematica. In altre parole Astra ha rimosso un ostacolo che impediva al modello di portare a termine ragionamenti di cui era già capace, mentre le sue competenze matematiche di fondo sono rimaste quelle di prima.

Dal punto di vista tecnico l’intervento appartiene a una famiglia ben nota, quella dell’ablazione direzionale, in cui si identifica una direzione associata a un comportamento e la si proietta via dai pesi che scrivono nel residual stream, come nel lavoro di Arditi e colleghi del 2024 sulla direzione del rifiuto. Ciò che rende notevole l’esperimento è che a trovarla, a diagnosticarne la causa e a eseguirla sia stato un modello generalista partendo da una richiesta generica come rendere il modello più bravo in matematica. Vale la pena notare anche che con 10 o 25 forward pass il risultato è modesto, e che il salto avviene solo con 50, segno che la qualità della diagnosi dipende molto da quanta evidenza sperimentale il modello può raccogliere.

Limiti e risultati negativi

Il merito maggiore del post, a mio avviso, è che gli autori riportano con la stessa evidenza dei successi anche i casi in cui le cose sono andate male. Il più significativo riguarda Gemma 3 270M, un modello che a differenza di Qwen raramente entra in ciclo. Qui Astra, leggendo gli errori, ha trovato sbagli di aritmetica e passaggi algebrici scorretti senza un singolo componente responsabile da spegnere, e le sue modifiche, piccole e mirate, non hanno spostato MATH-500 di più di un punto circa, un guadagno che lo stesso Astra ha dichiarato non dimostrato. La conclusione che ne traggono gli autori è netta e condivisibile, perché modificare i pesi in questo modo può togliere un ostacolo che nasconde una capacità, mentre aggiungere una capacità assente resta fuori portata.

Anche l’esperimento sulla sicofanzia è istruttivo. Date due copie di Gemma 3 270M addestrate in modo identico salvo per il comportamento, una onesta e una che asseconda sempre la risposta suggerita dall’utente, Astra non è riuscito a distinguerle dai soli pesi in nessuno dei quattro tentativi. Ha trovato molte differenze tra le due reti senza riuscire a collegarle a una differenza di comportamento, e ci è arrivato solo quando gli è stato permesso di osservare dove guardano le teste di attenzione su testi scritti da lui, scoprendo che nel modello sicofante alcune teste dei layer intermedi si concentrano sulla risposta proposta dall’utente invece che sui dati del problema.

Ci sono poi limiti di impianto che conviene tenere presenti. Si tratta di un post di ricerca, per ora senza revisione paritaria, gli esperimenti usano un solo modello operatore, i casi su reti grandi sono pochi e in molti esperimenti le reti sono così piccole da entrare interamente nel contesto. Gli autori lo dicono apertamente, attribuendo i limiti attuali soprattutto alla lunghezza del contesto e alla qualità degli harness, e annunciano un benchmark per rendere misurabile questa capacità. A loro favore va detto che hanno pubblicato i log completi di ogni esperimento, con tutto ciò che Astra ha ricevuto e prodotto, e il modello Qwen modificato su Hugging Face, il che rende il lavoro verificabile da chiunque.

Brain Surgery, settembre 2024

Il 22 settembre 2024 ho pubblicato su arXiv Brain Surgery: Ensuring GDPR Compliance in Large Language Models via Concept Erasure (arXiv:2409.14603). Il problema da cui partivo era molto concreto. Il GDPR riconosce a ogni persona il diritto alla cancellazione dei propri dati, e un modello linguistico che ha incorporato informazioni personali durante l’addestramento non offre un modo semplice per toglierle, perché riaddestrarlo da capo costa troppo e un fine-tuning correttivo rischia di danneggiare conoscenze che non c’entrano nulla. La proposta era di trattare la rimozione come un intervento chirurgico, localizzato sulle rappresentazioni interne associate a un concetto, lasciando intatto il resto del modello.

Il nucleo tecnico del paper era una procedura di corruzione mirata dell’embedding associato al concetto da rimuovere. Indicato con e_c il vettore che rappresenta il concetto c in uno spazio di dimensione d, l’embedding viene aggiornato in modo iterativo nella direzione che riduce l’influenza del concetto sulle uscite del modello e poi rinormalizzato, per non alterare la scala dello spazio circostante.

\mathbf{e}'_c = \mathbf{e}_c - \alpha \, \nabla_{\mathbf{e}_c} L(\mathbf{e}_c), \qquad \mathbf{e}'_c \leftarrow \frac{\mathbf{e}'_c}{\lVert \mathbf{e}'_c \rVert}

Accanto alla procedura di rimozione il paper introduceva un punteggio di conflitto, pensato per misurare il danno collaterale. Dato un insieme X_r di concetti correlati a quelli rimossi, il punteggio è la frazione di questi su cui il modello continua a rispondere correttamente dopo l’intervento, e un valore vicino a 1 indica che la chirurgia non ha toccato le conoscenze adiacenti.

S_c = \frac{1}{|X_r|} \sum_{x_r \in X_r} \mathbf{1}\big(f(x_r) = y_r\big)

Il resto dell’architettura riguardava la parte regolatoria, con un meccanismo di apprendimento continuo che segnala i dati sensibili in ingresso e attiva la rimozione quando una soglia viene superata, un registro su blockchain che rende ogni richiesta di cancellazione verificabile e non modificabile, e la possibilità per l’utente di definire le proprie preferenze di conservazione. Il lavoro si collocava esplicitamente nella linea del model editing, citando ROME di Meng e colleghi, MEND di Mitchell e colleghi e la proiezione iterativa nello spazio nullo di Ravfogel e colleghi, cioè la tecnica che rimuove da una rappresentazione la direzione associata a un attributo protetto.

Dove le due cose si toccano

Rileggendo oggi il post del MIT ritrovo diverse idee che nel 2024 avevo messo al centro di Brain Surgery. La prima è che un concetto o un comportamento sia localizzato in una porzione identificabile dello spazio delle rappresentazioni, abbastanza da poter essere colpito senza toccare il resto, ed è esattamente ciò che Astra fa con Qwen quando sottrae una singola direzione da due strati, con un’operazione che appartiene alla stessa famiglia della proiezione direzionale di Ravfogel che il mio paper citava. La seconda è il rifiuto del riaddestramento come strumento di correzione, che nel mio caso era motivato dai costi e dal rischio di effetti collaterali e che nel loro diventa il cuore stesso della definizione. La terza è l’attenzione al danno collaterale, che io misuravo con il punteggio di conflitto sui concetti correlati e che loro verificano controllando che la modifica non degradi altri benchmark e anzi li migliori.

C’è poi una coincidenza che trovo particolarmente significativa. Tra le applicazioni future che gli autori elencano in chiusura compaiono l’unlearning senza dati, presentato come un modo per togliere una capacità toccando pochi pesi ed evitando l’oblio catastrofico tipico del fine-tuning, e l’auditing dei modelli condotto direttamente sui pesi. Sono i due obiettivi attorno a cui era costruito Brain Surgery, la cancellazione mirata e la verificabilità dell’intervento, che io avevo declinato sul caso del diritto all’oblio.

Dove invece divergono

Le differenze sono altrettanto chiare e vanno dette con la stessa precisione. Brain Surgery usava il gradiente di una funzione di perdita per spostare un embedding, mentre il Weight-Space Programming esclude per definizione il gradiente e affida tutto al ragionamento di un modello linguistico. Nel 2024 non c’era alcun operatore generalista capace di leggere una matrice di pesi e capirne la funzione, e del resto con i modelli di allora un esperimento come quello su Qwen difficilmente avrebbe funzionato. Il mio paper inoltre presentava la metodologia e il suo inquadramento regolatorio con una validazione qualitativa su LLaMA 3, mentre il lavoro del MIT porta numeri, benchmark e log completi.

Aspetto	Brain Surgery (settembre 2024)	Weight-Space Programming (novembre 2026)
Obiettivo	Rimozione mirata di concetti e dati personali	Lettura, correzione e scrittura di reti
Oggetto dell’intervento	Embedding associati al concetto	Pesi della rete
Chi decide l’intervento	Una procedura basata sul gradiente	Un LLM generalista che ragiona sui pesi
Riaddestramento	Escluso	Escluso
Controllo degli effetti collaterali	Punteggio di conflitto sui concetti correlati	Valutazione su benchmark esterni
Verificabilità	Registro delle cancellazioni su blockchain	Log completi degli esperimenti
Contesto applicativo	GDPR e diritto all’oblio	Interpretabilità e ottimizzazione

Il quadro che ne esce mi sembra onesto e insieme soddisfacente. Due anni prima del MIT avevo individuato nella chirurgia sulle rappresentazioni interne la strada per correggere un modello senza riaddestrarlo, e avevo indicato nella cancellazione regolatoria il caso d’uso in cui questa strada diventa necessaria. Il MIT ha trovato l’operatore che mancava, un modello capace di fare da sé la diagnosi e l’intervento, e questo è un passo avanti reale che non toglie nulla all’intuizione di partenza e anzi le dà finalmente gli strumenti per essere messa alla prova su larga scala.

Il diritto all’oblio come banco di prova

Se il Weight-Space Programming manterrà le promesse, credo che la cancellazione regolatoria sia il terreno su cui misurarlo davvero, perché impone requisiti che nessuno degli esperimenti del MIT affronta ancora. L’articolo 17 del GDPR riconosce all’interessato il diritto di ottenere la cancellazione dei propri dati, e quando quei dati sono finiti nei pesi di un modello la domanda rilevante per un’azienda o per un’autorità di controllo diventa come dimostrare che l’informazione sia stata davvero rimossa e che il modello continui a funzionare come prima su tutto il resto.

Il caso Qwen è in un certo senso il più favorevole possibile, perché il difetto era concentrato in una sola direzione ben riconoscibile e il suo effetto era misurabile con un indicatore semplice come la percentuale di risposte troncate. I dati personali tendono a comportarsi in modo diverso, dato che un nome, un indirizzo o una vicenda clinica sono distribuiti su molti componenti e possono riaffiorare per vie indirette, attraverso domande parafrasate, associazioni con altre entità o tecniche di estrazione che sfruttano la memorizzazione. La letteratura sull’unlearning ha mostrato a più riprese che conoscenze apparentemente cancellate possono essere recuperate con pochi passi di fine-tuning, ed è proprio questo il tipo di verifica che un intervento chirurgico dovrebbe superare.

Un banco di prova serio per la cancellazione nello spazio dei pesi dovrebbe quindi chiedere all’operatore tre cose insieme. La prima è rimuovere un insieme definito di informazioni su una persona, resistendo a domande indirette e ad attacchi di estrazione e di riapprendimento. La seconda è preservare le conoscenze correlate, che è la funzione per cui avevo introdotto il punteggio di conflitto e che andrebbe confrontata con un modello di riferimento riaddestrato senza quei dati. La terza è produrre una documentazione dell’intervento leggibile da un terzo, e qui il fatto che un modello linguistico spieghi in linguaggio naturale che cosa ha cambiato e perché potrebbe diventare il vero valore aggiunto, perché trasforma un’operazione opaca in un atto verificabile.

È la proposta che ho fatto agli autori scrivendo loro in questi giorni, e mi sembra il modo più utile di raccogliere il filo tra il lavoro di allora e quello di oggi. Per chi come Algoretico porta modelli privati e on-premise in settori regolati, la possibilità di correggere un modello già in produzione con un intervento piccolo, spiegato e verificabile risponde a un’esigenza che i clienti pongono già adesso, molto prima che la tecnica sia matura.

Il Weight-Space Programming segna un passaggio importante, perché sposta l’intervento sui pesi dalle mani dei ricercatori e degli ottimizzatori a quelle di un modello che sa spiegare che cosa sta facendo. I risultati vanno letti con misura, dato che il caso più eclatante consiste nella rimozione di un difetto più che nell’aggiunta di una competenza e che i tentativi di aggiungere capacità sono per ora falliti, ma la direzione è chiara e il lavoro è documentato in modo esemplare.

Per quanto mi riguarda, vedere un gruppo del MIT arrivare alla chirurgia sui modelli e indicare la cancellazione mirata come una delle sue applicazioni naturali è una conferma del ragionamento che avevo fatto due anni fa, quando l’idea di usare la chirurgia sui modelli per rispondere a un obbligo normativo come il diritto all’oblio era ancora poco esplorata. Le date sono pubbliche e chiunque può confrontare i due testi, e proprio per questo preferisco lasciare che sia il confronto a parlare, con le sue somiglianze e con le sue differenze.

Fonti

• Rikiya Takehi, Jayden Teoh, Alex Zhang, Omar Khattab, Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights, MIT CSAIL, 2 novembre 2026
• Michele Laurelli, Brain Surgery: Ensuring GDPR Compliance in Large Language Models via Concept Erasure, arXiv:2409.14603, 22 settembre 2024
• Like gene editing for neural networks, VentureBeat, novembre 2026
• A Survey of Weight Space Learning: Understanding, Representation, and Generation, arXiv:2603.10090