Test-Time Compute
Test-Time Compute: Calcolo aggiuntivo impiegato durante l’inferenza per migliorare la risposta senza modificare i parametri del modello. Include campionamenti multipli, ricerca, verifica e ragionamento esteso. Il rendimento va misurato rispetto a costo e latenza, perché aumentare i tentativi non sempre migliora la soluzione.
In English: Test-time computeLegge III · Come una rete impara dai datiInclude campionamenti multipli, ricerca, verifica e ragionamento esteso. Il rendimento va misurato rispetto a costo e latenza, perché aumentare i tentativi non sempre migliora la soluzione.
Esempi
- Best-of-N con verificatore
- Ricerca tra rami di soluzione
- Budget variabile di ragionamento