Reward Model
Reward Model: Modello addestrato ad assegnare un punteggio alle risposte in base a preferenze umane o criteri appresi. Fornisce un segnale scalare per RLHF o per selezionare tra candidati. Può ereditare bias dei giudici ed essere sfruttato dalla policy, quindi va valutato su casi fuori distribuzione.
In English: Reward modelLegge III · Come una rete impara dai datiFornisce un segnale scalare per RLHF o per selezionare tra candidati. Può ereditare bias dei giudici ed essere sfruttato dalla policy, quindi va valutato su casi fuori distribuzione.
Esempi
- Punteggio di utilità
- Ranking best-of-N
- Reward per ottimizzazione PPO