RLHF (Reinforcement Learning from Human Feedback)

RLHF (Reinforcement Learning from Human Feedback): Allineamento che usa preferenze umane per guidare un modello tramite apprendimento per rinforzo. Le preferenze addestrano spesso un reward model, che fornisce il segnale per ottimizzare la policy. Qualità dei giudizi, campionamento e vincoli contro il reward hacking determinano il risultato.

In English: RLHF (Reinforcement Learning from Human Feedback)Legge III · Come una rete impara dai dati

Le preferenze addestrano spesso un reward model, che fornisce il segnale per ottimizzare la policy. Qualità dei giudizi, campionamento e vincoli contro il reward hacking determinano il risultato.

Esempi

Confronto tra due risposte
PPO con reward appreso
Penalità per risposte non sicure

Fonti

Training language models to follow instructions with human feedback