DPO (Direct Preference Optimization)
DPO (Direct Preference Optimization): Metodo che ottimizza direttamente una policy su coppie di risposte preferite e non preferite senza RL esplicito. Usa un modello di riferimento e una perdita contrastiva sulle preferenze, eliminando il reward model separato tipico di RLHF.
In English: DPO (Direct Preference Optimization)Legge III · Come una rete impara dai datiUsa un modello di riferimento e una perdita contrastiva sulle preferenze, eliminando il reward model separato tipico di RLHF. Dati rappresentativi e controllo del coefficiente di riferimento restano decisivi.
Esempi
- Coppie scelta/rifiutata
- Allineamento senza PPO
- Policy vincolata a un riferimento